Zróbcie API dla danych z polskiego Sejmu i serwisów Rządowych!

Jest chyba dobry przykład na to, jak można zrealizować koncepcję opisywaną przeze mnie w tekście Przejmujemy państwo: The New York Times udostępnił API (ang. Application Programming Interface) do danych związanych z aktywnością Kongresu Stanów Zjednoczonych, a pochodzących bezpośrednio z serwisów internetowych Izby Reprezentantów i Senatu, aktualizowanych codziennie w czasie obrad ("data comes directly from the U.S. House and Senate Web sites, and is updated throughout the day while Congress is in session"). Do tego dodano jeszcze powiązanie z danymi z serwisu GovTrack, by łatwiej można było śledzić proces legislacyjny w USA. Teraz jest szansa na to, że powstaną wtyczki do Firefoxa, dedykowane serwisy internetowe, które wykorzystując to API uzupełnią dane o nowe "funkcjonalności" (np. prezentowanie procesu legislacyjnego dotyczącego regulacji prawnych na temat pszczół, albo tylko na temat opon, albo sprawdzenie kto z przedstawicieli amerykańskiego społeczeństwa brał udział w pracach "nad pszczołami", ale uczestniczył również w pracach dotyczących opon). A u nas co?

W swoim tekście o "przejęciu państwa" pisałem: "Mam taki pomysł: stworzyć serwis internetowy, który będzie zasysał wszystkie informacje z różnych serwisów publicznych i prezentował je w jednym miejscu. Niezależnie od państwa...". Amerykańskie wydawnictwo właśnie coś takiego zaczęło robić udostępniając API (o jego uruchomieniu można przeczytać w tekście Announcing the Congress API). Na stronach wydawnictwa można zapoznać się z dokumentacją i narzędziami dla programistów: API Documentation and Tools. Całość oparta jest na parserze, który "zasysa" dane ze stron internetowych Izby Reprezentantów i Senatu USA (głównie dane XML, ale też wykorzystuje się dane "wydłubane" z HTMLa). Dodatkowo twórcy API posiłkują się danymi wyciąganymi z Biblioteki Kongresu oraz z serwisu GovTrack. To ostatnie możliwe dzięki temu, że GovTrack jest serwisem społecznościowym i wspierającym ideę otwartego dostępu do informacji publicznej ("GovTrack.us helps you keep tabs on the U.S. Congress. This site is non-commercial, non-partisan and is a community & open source project").

Oczywiście udostępnienie API do tak zagregowanej informacji to inicjatywa komercyjnie działającego wydawnictwa, a udostępniając API i chcąc, by "społeczność" popracowała nieco nad obudowaniem tego narzędzia nowymi aplikacjami, The New York Times pozwala na bezpłatne wykorzystanie (jedynie) do 5 tys "zapytań o dane" dziennie. A przecież sam Kongres mógłby takie API udostępnić...

...podobnie jak w Polsce takie API mógłby udostępnić Sejm, Senat, Kancelaria Prezesa Rady Ministrów, ale u nas zamiast na XML stawia się na PDFy (por. Przyjęli, opublikowali, a więc ogłosili nowe prawo: Szczęśliwego Nowego Roku 2009 oraz Ogłaszanie aktów prawnych - Rządowe Centrum Legislacji mówi: tylko PDF), polska administracja publiczna nie ma kontroli nad własną infrastrukturą informatyczną (por. Propagowanie pornografii przez polską administrację publiczną to problem systemowy, A gdyby tak strony były robione centralnie?) i zamiast porządkować serwisy internetowe w celu powstania jednego, spójnego i wiarygodnego źródła informacji przeznaczonej dla obywateli wciąż buduje się nowe, niepowiązane ze sobą funkcjonalnie serwisy internetowe ze zdjęciami ministrów lub innych "ważnych ludzi" na pierwszej stronie (por. Ministerstwo Transportu ma nową stronę - dlaczego każdy resort ma mieć własną?). Dodatkowo bardzo zazdrośnie podchodzi do zebranych przez siebie danych (por. Blokowanie linków i niechęć do "mirrorów" w administracji publicznej), w pierwszej kolejności koncentrując się na cennikach (por. Walka o publiczny dostęp do gromadzonych danych kartograficznych) i reklamie (por. Administracja rządowa sprzedaje produkty Microsoft? oraz Nowa odsłona Biuletynu Informacji "Publicznej").

W USA prace nad integracją serwisów rządowych trwają przynajmniej od 2000 roku (na temat zapowiedzi powstania Firstgov.com; por. Obywatelski dostęp do informacji; zaowocowało to powstaniem serwisu usa.gov). W Wielkiej Brytanii również mają bardziej spójny serwis rządowy (www.direct.gov.uk), ale też wiele danych udostępnia się do ponownego wykorzystania (por. przykładowo Wyszukiwanie osób w brytyjskim serwisie - to przykład wykorzystania przez komercyjny serwis B4U udostępnionych publicznie danych wyborczych sprzed 2002 roku; ponowne wykorzystanie informacji może się wiązać z problemami np. dotyczącymi prywatności obywateli, jednak to historia odrębna)...

W tekście Kto ma informacje, ten ma władzę pisałem:

Transparentność życia publicznego może utrudniać proces sprawowania władzy, ale przecież politycy powinni się zaprzyjaźnić z myślą, że w społeczeństwie obywatelskim suweren patrzy swoim przedstawicielom na ręce.

W tekście Demokracja bezpośrednia, bez zdobywania większości pisałem zaś:

Nareszcie dyskusja publiczna musiałaby uwzględnić masy obywatelskie - to je każdocześnie trzeba by przekonywać do danych rozwiązań. Sporo byłby manipulacji, ale też i mogłaby być jakaś szansa na rzeczową argumentacje. Wierzę, że ludzie, którzy mają szanse ocenić dostępne źródła, potrafią też podjąć na ich podstawie decyzje w swojej sprawie.

Mogę jeszcze cytować np. tekst Plebejusze a dostęp do informacji o działalności organów władzy publicznej, ale chyba wystarczy link.

To jedna strona medalu - dostęp obywateli do informacji. Druga strona to coś, co rozumieją komercyjnie działające podmioty: informacja z sektora publicznego może być podstawą budowania nadających się do oferowania przynoszących zysk usług. Dlatego w tej dyskusji organizacje obywatelskie oraz organizacje zrzeszające przedsiębiorców mają mniej więcej wspólne stanowisko. Różnice polegają na tym, że obywatele będą chcieli uzyskać dostęp do informacji bezpłatnie, a przedsiębiorcy są skłonni płacić administracji publicznej za licencje, byle w końcu pojawiły się możliwości legalnego wykorzystania gromadzonych przez państwo danych (nie przez przypadek w USA to wydawnictwo udostępniło API do danych z Kongresu).

Zobaczymy co nam przyniosą toczące się w MSWiA prace koncepcyjne nad transpozycją Dyrektywy 2003/98/WE Parlamentu Europejskiego i Rady z dnia 17 listopada 2003 r. w sprawie ponownego wykorzystywania informacji sektora publicznego. Aby nie pozostawić po lekturze tej notatki wrażenia, że jedynie krytykuje polskie prace, napiszę jeszcze, że krokiem w dobrym kierunku jest udostępnienie informacji na temat prac legislacyjnych, dotyczących nowelizacji ustawy o informatyzacji (por. Czy będzie rewolucja w informatyzacji? Przegląd zgłoszonych uwag do projektu noweli). Dowiedziałem się, że może nawet zostanie opublikowany stenogram z kilkudniowej komisji uzgodnieniowej. To oczywiście aprobata w sferze informacyjno-materialnej (co jest dostępne). Pozostaje jeszcze problem "jak jest udostępnione". "Trochę" pracy wymaga przerobienie ponad 100 stron z uwagami do postaci nadającą się do bardziej automatycznego ponownego wykorzystania (teraz zestawienie uwag udostępniono jako PDF, tabelarycznie prezentujący stanowiska organizacji pozarządowych i osób fizycznych i zestawiając je z odpowiedziami ministerstwa - tu przydałoby się jakieś systemowe rozwiązanie, które można by narzucić (nie boję się tego słowa), narzucić całej administracji publicznej do obowiązkowego stosowania do udostępniania informacji z procesu konsultacji społecznych).

Przeczytaj również:

Opcje przeglądania komentarzy

Wybierz sposób przeglądania komentarzy oraz kliknij "Zachowaj ustawienia", by aktywować zmiany.

Parser parsuje to co dostępne

VaGla's picture

Ale sam parser nie wystarczy. Dobrym przykładem na ilustrację problemu jest chyba historia Interpelacja w sprawie ochrony dóbr osobistych osób publicznych (naruszane przez serwisy plotkarskie): Interpelacja wpłynęła 21 października 2008 roku. W grudniu była dostępna na stronach jej treść, ale dopiero potem dowiedzieliśmy się, że 17 listopada udzielono odpowiedzi, której treści nie ma do tej pory. Nie ma na stronie treści odpowiedzi, chociaż teoretycznie "ogłoszono" ja 4-tego grudnia, na posiedzeniu Sejmu. Poseł uznał, że odpowiedź jest niewystarczająca i 17-stego grudnia złożył interpelacje ponowną. Dziś jest 10 stycznia 2009 i nadal nie ma na stronach Sejmu treści "niewystarczającej odpowiedzi". Skoro nie ma danych - nie ma co parsować. To też jedna ze "stron medalu"...
--
[VaGla] Vigilant Android Generated for Logical Assassination

Trochę off-topic...

Adrian Holovaty z Chicago swojego czasu zrobił serwis, który bazując na publicznie dostępnych danych z policji, wykorzystał Google Maps do obrazowania wszelkiego typu naruszeń prawa. Zaglądałem tam raz, czy dwa razy: robiło to wrażenie.

Historia i przyszłość serwisu opisane są na jego blogu. Dziś serwis się rozrósł i prezentuje znacznie więcej informacji...

Wracając do tematu zasadniczego: nie dziwi mnie apel zawarty w tytule (Zróbcie API...). Tak jak w zaawansowanych technologicznie Stanach API dla Kongresu robi NYT, a jakiś dziennikarz z Chicago wpada na pomysł, żeby na mapie obrazować przestępstwa, tak i u nas będzie musiał to ktoś zrobić.

Problem -- jak znam życie -- polegał będzie na tym, że nagle okaże się, że dane które właściwie są (powinny być) publicznie dostępne pewno zaraz okażą się zupełnie niedostępne.

Nagle okaże się, że tak długo jak dane nie stają się łatwo przeszukiwalne -- wszyscy ,,mogą'' mieć do nich dostęp. Jak nagle ktoś zrozumie na czym polega Technologia Informatyczne: zaczynają się problemy.

Osobiście nie wierzę, że się uda...

Dobra wola władz jest niezbędna

API można otrzymać z Google (całkiem bezpłatnie) i wykonać coś w rodzaju Google News. Tę stronę da się spersonalizować i być może wkrótce będzie można tam umieszczać gadżety informacyjne. Można nawet nastawić Google News na czerpanie bardzo konkretnych wiadomości. Problem w tym, że (tak jak to napisał autor artykułu) w Polsce władza postawiła na statyczną informację w postaci plików PDF, w dodatku źle skonstruowanych, bez zakładek, możliwości wydruku i przeszukiwania.

Do tworzonej strony informacyjnej można byłoby wkomponować ISIP (Internetowy System Informacji Prawnej), aby w ten sposób umożliwić korzystanie z istniejącej bazy dokumentów w formacie PDF.

Samozaparcie potrzebne

A ja myślę, że serwis taki nie powstanie z najprostszego do wyobrażenia sobie powodu. Po prostu nikomu nie będzie się chciało go zrobić. Łatwo bowiem zgłaszać propozycje, a znacznie trudniej zrobić coś i to utrzymywać.

Warto zwrócić uwagę, że przykładowo:

a) W półtora roku po "słynnym" "zwycięstwie" w "wojnie" o Janosika wciąż nie ma alternatywnych programów do kontaktu z ZUS. Walczyć o "wolność" było warto, ale zrealizować wolności już się nie chciało.

b) O otwarte standardy również warto walczyć - szczególnie o to, by je prawnie uregulować. Ale jak przyjdzie co do czego, to żadne środowisko nie składa oficjalnych uwag do projektu ich wprowadzenia do ustawy o informatyzacji. Dyskusje toczą się na forach i blogach, ale jak trzeba "ruszyć tyłek" i zadziałać, to nie ma komu.

Tak samo będzie z serwisem, o którym VaGla pisze. Przydałby się, ale nie znajdzie się jakiś nowy VaGla, który zainwestowałby swój czas w jego zrobienie

Pozdrawiam malkontencko

Secco

Z tym wszakże uzupełnieniem, że...

VaGla's picture

Z tym wszakże uzupełnieniem, że o specyfikację techniczną Płatnika (24 strony dokumentacij KSI MAIL) walka sądowa trwała 5 lat i 4 miesiące. W rezultacie uzyskano specyfikację, która chwile później stała się nieaktualna, ponieważ zmieniono specyfikację w nowej wersji oprogramowania, zresztą - nie jestem pewny, czy w oparciu o uzyskana wówczas dokumentację dałoby się przygotować współpracujący z ZUS program nawet w dniu jej uzyskania.

Ta sądowa bitwa zaś dała efekt nie tylko w postaci 24 stron tekstu. Stworzyła również praktykę wymiaru sprawiedliwości w odniesieniu do informacji publicznej a ostateczny wyrok jest wskazówka dla wszystkich, że tego typu specyfikacja techniczna również informacja publiczna jest.

--
[VaGla] Vigilant Android Generated for Logical Assassination

Składanie uwag do projektów ustaw

kravietz's picture

Ale jak przyjdzie co do czego, to żadne środowisko nie składa oficjalnych uwag do projektu ich wprowadzenia do ustawy o informatyzacji

Co prawda nie jestem "środowiskiem", ale jako osoba prywatna składałem uwagi zarówno do projektu ustawy o informatyzacji, do systemu RCL czy do europejskich ram interoperacyjności (prezentacja z konferencji MSWiA).

Trudno się natomiast nie zgodzić z obserwacją, że wielu organizacjom przychodzi z trudem wyartykułowanie uwag, które na wewnętrznych listach dyskusyjnych płyną kilometrami komentarzy. Dzieje się tak z dwóch powodów:

  • Czasem uczestnicy dyskusji z bliżej nieokreślonych powodów wierzą, że to do kogoś innego (np. zarządu) należy pracowite ekstrahowanie z ich komentarzy intelektualnych perełek i budowanie na ich bazie stanowiska.
  • Czasem z kolei władze same się w takiej pozycji stawiają postanawiając, że zamiast niedoskonałego lub niepełnego w czyjejś opinii stanowiska należy sporządzić pełne i doskonałe, co zwykle nigdy nie następuje.

--
Paweł Krawczyk
IPSec.pl - Podpis elektroniczny i bezpieczeństwo IT

Problem danych i aktualizacji

Przedstawię problem dosłownie z zeszłego miesiąca, który dobrze obrazuje dla czego takie API nie zadziała w Polsce.
Gminy (i nie tylko) muszą publikować na stronach BIP opinię z RIO dotyczącą budżetu. Mają na to 14 dni od daty otrzymania takiej opinii. Oczywiście otrzymują to na piśmie więc publikacja odbywa się poprzez skaner i wrzucenie tego do PDF'a. A czemu (zapytacie) nie pobrać takiego dokumentu ze strony BIP RIO? Bo tam go po prostu nie ma. Ktoś robi aktualizacje raz na dwa lub półtora miesiąca hurtem.

Api

Czy sprawa z Api ruszyła w Polskim Sejmie ?

API w organizacjach pozarządowych

Czy organizacje pozarządowe, których jesteś członkiem, gotowe są dać przykład stronie rządowej i same wypracować takie API i wdrożyć u siebie? Może działanie przez przykład pchnie ta sprawę do przodu?

Czy

VaGla's picture

Czy chodzi o tego typu próby: "Nowa nadzieja" w government 2.0? - rozmowa ze Zbigniewem 'Gandalfem' Branieckim o nowym projekcie, czy też chodzi o API do serwisów organizacji społecznych? Jeśli chodzi o ISOC Polska, to serwis ten stoi na Drupalu, a więc można by pewnie programować to gdzieś indziej z wykorzystaniem api.drupal.org
--
[VaGla] Vigilant Android Generated for Logical Assassination

Dobre pytanie o API

Mam bardzo duże wątpliwości czy "gov 2.0" opiera się o API czy jest tylko szperaczem internetowym. Czy po zmianie struktury strony internetowej, nadał będzie płynie działał? Jeżeli tak, problem API został rozwiązany :-)

ISOC jest na drupalu. OK. Spróbuj zebrać w jednego spójnego mush-upa stowarzyszenia, których jesteś członkiem, z uwzględnieniem następujących danych:
- nazwa stowarzyszenia,
- adres pocztowy,
- adres www,
- adres e-mailowy,
- przewodniczący,
- członkowie zarządu,
- osobę zajmującą się jakimś projektem, np rejestrem stron.

Pewnie sam przyznasz, ze nie jest to dużo. Ale to daje przedsmak, tego co ma zrobić rząd. I bardzo chcę, aby rząd to zrobił !!! Tylko, że jestem w tym temacie człowieczkiem bardzo małej wiary.

Piotr VaGla Waglowski

VaGla
Piotr VaGla Waglowski - prawnik, publicysta i webmaster, autor serwisu VaGla.pl Prawo i Internet. Członek Rady ds Cyfryzacji przy Ministrze Cyfryzacji, ekspert w Departamencie Oceny Ryzyka Regulacyjnego Ministerstwa Rozwoju, felietonista miesięcznika "IT w Administracji" (wcześniej również felietonista miesięcznika "Gazeta Bankowa" i tygodnika "Wprost"). Uczestniczył w pracach Obywatelskiego Forum Legislacji, działającego przy Fundacji im. Stefana Batorego w ramach programu Odpowiedzialne Państwo. W 1995 założył pierwszą w internecie listę dyskusyjną na temat prawa w języku polskim, Członek Założyciel Internet Society Poland, pełnił funkcję Członka Zarządu ISOC Polska i Członka Rady Polskiej Izby Informatyki i Telekomunikacji. Był również Członkiem Rady Informatyzacji przy MSWiA, członkiem Zespołu ds. otwartych danych i zasobów przy Komitecie Rady Ministrów do spraw Cyfryzacji oraz Doradcą społecznym Prezesa Urzędu Komunikacji Elektronicznej ds. funkcjonowania rynku mediów w szczególności w zakresie neutralności sieci. W latach 2009-2014 Zastępca Przewodniczącego Rady Fundacji Nowoczesna Polska, w tym czasie był również Członkiem Rady Programowej Fundacji Panoptykon. Więcej >>