Ciąg dalszy korespondencji w sprawie logo archiwów i w sprawie cyfryzacji
Następnego dnia po tym, gdy w tym serwisie apelowałem o uprzejme rozważenie zmiany polityki oznaczania logami digitalizowanych archiwaliów, otrzymałem odpowiedź odpowiedź od Naczelnego Dyrektora Archiwów Państwowych w sprawie wspomnianego tam, w tym apelu, Zarządzenia. Dowiedzieliśmy się, że aktualnie przygotowywany projekt nowelizacji tego Zarządzenia już nie wymienia znaku wodnego jako elementu kopii cyfrowej udostępnionego dokumentu. Przywołałem odpowiedź w serwisie, a korzystając z okazji opatrzyłem ją jeszcze jednym pytaniem: czy można się spodziewać, że również wcześniej udostępnione skany wraz z tymi nieszczęsnymi logami zostaną zastąpione przez materiały bez zasłony? Dziś otrzymałem odpowiedź z Naczelnej Dyrekcji Archiwów Państwowych.
Nie raz i nie tylko przy okazji dyskusji o digitalizacji archiwaliów, sygnalizuję, że pewne koncepcje działania niektórych serwisów należy jak najszybciej zmienić.
Pierwszy przykład: nikomu nie będzie się chciało jeszcze raz umieszczać na stronach Naczelnego Sądu Administracyjnego lub na stronach Portalu Orzeczeń Sądów Powszechnych treści orzeczeń, które tam są dziś opublikowane po "nadmiernej" anonimizacji. Nikomu się nie będzie chciało, nawet jeśli nie będzie żadnej wątpliwości, że ta anonimiazcja jest nadmierna, a na poparcie tego będzie ileś(set) orzeczeń.
Drugi przykład: nikomu nie będzie się chciało zasilać raz jeszcze całego systemu informacyjnego Rządowego Centrum Legislacji archiwalnymi tekstami pism spływających w procesie legislacyjnym, nawet jeśli będzie oczywiste dla wszystkich, że publikowanie skanów jest niefunkcjonalne. I oczywiście rozumiem, że RCL realizuje dziś zadanie polegające na "elektronciznym oddaniu rzeczywistego przebiegu procesu legislacyjnego", a to dla niektórych oznacza, że należy zatem publikować skany tych papierowych pism z adnotacjami i pieczęciami. Ja zaś podnoszę, że to niefunkcjonalne i z każdym dniem, w którym nie wprowadzamy elektronciznego obiegu dokumentów tracimy ważne szanse. Bo potem, gdy już dla wszystkich będzie jasne, że takie skany są bez sensu, nie będzie kasy na to, by historię "elektronicznie opublikowaną" zamienić na bardziej sensowną. Dopiero od tego momentu będzie możliwa bardziej automatyczna analityka publiczna, dopiero od tego momentu będzie pełniej realizowana dostępność dla osób z wadą wzroku (bo automat czytający tekst, a który nie potrafi czytać bitmapy, pomoże im z zapoznaniem się z informacją).
Trzeci przykład, bo trójki dobrze działają w retoryce, to oczywiście prowadzenie papierowych "wykazów umów". Jak już wszyscy zrozumieją, że opór jest bezcelowy, a obywatele w końcu osiągną powszechną dostępność wykazów umów i w samorządach i w administracji rządowej, to oczywiście nie będzie środków na to, by materiały archiwalne umieszczać w BIP-ach w odpowiednim, nadającym się do automatycznego przetwarzania formacie (wraz z API). I oczywiście rozumiem, że komuś może zależeć, by w ten sposób zobiektywizować dzisiejszy brak przejrzystości finansów publicznych, ale obywatele powinni wiedzieć, że zwlekanie z wprowadzeniem porządnego, neutralnego, niezawierającego barier, rozwiązania powoduje kolejne zwycięstwa entropii.
"Dziś" znów nie wprowadzono takiego systemu. To znaczy, że wszystkie opublikowane dziś kwity nie będą włączone do systemu, który powstanie "jutro". Warto o tym pamiętać.
Wracając do logo i digitalizacji archiwaliów: odpowiedź dostałem elektronicznie od p. Anny Belki, Rzecznik prasowej Naczelnej Dyrekcji Archiwów Państwowych. Pozwalam sobie przywołać ją poniżej, ponieważ skoro już ten dialog sobie prowadzimy, to może ona zainteresować szersze grono obywateli. A chodzi przecież o dobro wspólne, o którym wiem, że też NDAP chodzi. Zatem to element debaty publicznej.
Szanowny Panie,
w odpowiedzi na pytanie dotyczące możliwości zastąpienia już opublikowanych skanów dokumentów skanami bez oznaczeń znakami wodnymi uprzejmie informuję, że wymagałoby to ponownego wprowadzenia takich skanów do serwisu, co byłoby operacją czasochłonną i kosztowną. Dlatego w najbliższym czasie nie planujemy jej przeprowadzenia, skupiając się na wzbogacaniu serwisu o nowe materiały.
W sytuacjach szczególnie uzasadnionych, gdy obecność znaku wodnego utrudnia odczytanie treści zeskanowanego dokumentu możliwa jest wymiana pojedynczych skanów w systemie szukajwarchiwach.pl na skany pozbawione znaku lub ich przesłanie na adres e-mailowy użytkownika.
Zgłoszenia, zawierające odnośnik do wybranego skanu dokumentu (link z adresem obrazka), należy kierować do Narodowego Archiwum Cyfrowego, które jest administratorem serwisu, na adres: szukajwarchiwach [at] nac.gov.pl
UWAGA: prosimy upewnić się, że odnośnik prowadzi do konkretnego obrazu/skanu, nie zaś do całej jednostki archiwalnej, której częścią jest dany skan.
Więcej informacji:
http://www.szukajwarchiwach.pl/kontakt
Przy okazji chciałabym dodać, że w grudniu 2014 r. liczba skanów udostępnionych w serwisie przekroczyła 14 mln. W 2015 roku planowane jest zamieszczenie kolejnych 4 mln, wśród których będą księgi metrykalne i akty stanu cywilnego oraz inne dokumenty do badań historycznych.
Więcej informacji:
http://www.archiwa.gov.pl/pl.pdf?view=article&catid=63%3Aaktualnosci&id=4382%3Aponad-potora-miliona-nowych-skanow-na-szukajwarchiwachpl
Informuję także, że liczba unikalnych użytkowników serwisu szukajwarchiwach.pl właśnie przekroczyła milion.
Na stronie internetowej Naczelnej Dyrekcji Archiwów Państwowych znajduje się wykaz wybranych zespołów archiwalnych opublikowanych w serwisie oraz planowanych do publikacji w 2015 r.:
http://www.archiwa.gov.pl/pl/component/content/article/4394.html?template=archiwa_home
Z wyrazami szacunku,
- Login to post comments
Piotr VaGla Waglowski
Piotr VaGla Waglowski - prawnik, publicysta i webmaster, autor serwisu VaGla.pl Prawo i Internet. Ukończył Aplikację Legislacyjną prowadzoną przez Rządowe Centrum Legislacji. Radca ministra w Departamencie Oceny Ryzyka Regulacyjnego a następnie w Departamencie Doskonalenia Regulacji Gospodarczych Ministerstwa Rozwoju. Felietonista miesięcznika "IT w Administracji" (wcześniej również felietonista miesięcznika "Gazeta Bankowa" i tygodnika "Wprost"). Uczestniczył w pracach Obywatelskiego Forum Legislacji, działającego przy Fundacji im. Stefana Batorego w ramach programu Odpowiedzialne Państwo. W 1995 założył pierwszą w internecie listę dyskusyjną na temat prawa w języku polskim, Członek Założyciel Internet Society Poland, pełnił funkcję Członka Zarządu ISOC Polska i Członka Rady Polskiej Izby Informatyki i Telekomunikacji. Był również członkiem Rady ds Cyfryzacji przy Ministrze Cyfryzacji i członkiem Rady Informatyzacji przy MSWiA, członkiem Zespołu ds. otwartych danych i zasobów przy Komitecie Rady Ministrów do spraw Cyfryzacji oraz Doradcą społecznym Prezesa Urzędu Komunikacji Elektronicznej ds. funkcjonowania rynku mediów w szczególności w zakresie neutralności sieci. W latach 2009-2014 Zastępca Przewodniczącego Rady Fundacji Nowoczesna Polska, w tym czasie był również Członkiem Rady Programowej Fundacji Panoptykon. Więcej >>
Może trzeba "zalać" NDAP zgłoszeniami o wymianę skanów?
Czy wobec takiej postawy NDAP jak w cytacie, że
"w najbliższym czasie nie planujemy jej [tzn. akcji naprawienia stworzonych przez NDAP błędów] przeprowadzenia"
a tylko:
"W sytuacjach szczególnie uzasadnionych, gdy obecność znaku wodnego utrudnia odczytanie treści zeskanowanego dokumentu możliwa jest wymiana pojedynczych skanów w systemie szukajwarchiwach.pl na skany pozbawione znaku lub ich przesłanie na adres e-mailowy użytkownika.
Zgłoszenia, zawierające odnośnik do wybranego skanu dokumentu (link z adresem obrazka), należy kierować do Narodowego Archiwum Cyfrowego, które jest administratorem serwisu, na adres: szukajwarchiwach [at] nac.gov.pl
UWAGA: prosimy upewnić się, że odnośnik prowadzi do konkretnego obrazu/skanu, nie zaś do całej jednostki archiwalnej, której częścią jest dany skan.
nie należałoby "zalać" NDAP zgłoszeniami o wymianę skanów na normalne?"
Gdy zaczną sprawdzać tysiące zgłoszeń czy "sytuacje są szczególnie uzasadnione", i zobaczą jak wiele zajmuje to czasu, to może zrozumieją że to jest zła postawa?
I jednak dojdą do wniosku, że znacznie mniej czasu i mniej kosztowne, będzie "wrzucenie" na nowo skanów, które mają już przecież wykonane i obrobione, a więc możliwa będzie tu "akcja masowa"?
Tym bardziej że i tak winno to nastąpić, i zapewne nastąpi, wcześniej czy później, zwłaszcza że przecież najbardziej czasochłonne i kosztowne czynności mają już za sobą?
PS. W razie czego można Dyrekcji NDAP zasugerować, że kosztami za wymianę popsutych w wyniku postawy NDAP skanów na normalne, należałoby obciążyć "genialnego" autora tego pomysłu "znakowania" skanów. No i wszystkich tych, którzy taki pomysł zaakceptowali i potem tak długo go utrzymywali, bo chyba przecież jakaś odpowiedzialność urzędnicza za błędne decyzje winna istnieć?
Jestem daleki od tego
Jestem daleki od tego, by coś takiego proponować. Komentarz i list opublikowałem po to, by zasygnalizować - na jego przykładzie - konsekwencje decyzji i pokazać, że jeśli ktoś "z zewnątrz" postuluje coś z myślą o przyszłości, a zamiast tego stosuje się "doraźne", "nieprzemyślane" rozwiązania, to taka prowizorka kosztuje i ma konsekwencje. Ale i koszty są tu istotne. Nawet, gdyby obywatele "zalali" Dyrekcję Archiwów wnioskami, to przecież to samo w sobie nie sprawi, że Archiwa będą bardziej rozumiały problem (myślę, że już dobrze rozumieją) i będą miały więcej pieniędzy na realizację swoich zadań. Ja akurat doceniam starania Archiwów. Jest tam dialog, dobra wola i chęć rozumienia postulatów. Nie jest idealnie, ale - jestem przekonany - taki postulat "zalania" ktoś mógłby wziąć za atak, a to zniechęca, gdy w zamian za okazanie dobrej woli dostaje się strzał między oczy. Raczej proponowałbym przedpiszcy poszukania takiego obszaru, w którym tej dobrej woli nie ma. I wówczas z umiarem, elegancko, w ramach odpowiedzialności za państwo i w ramach kulturalnego sygnalizowania obywatelskich potrzeb, sprytnie, inteligentnie, nie nerwowo, dałbym znać piastunom owego problemu, na czym polega jego istota.
--
[VaGla] Vigilant Android Generated for Logical Assassination
Wiem, jak ponownie zeskanować...
te wszystkie dokumenty w ramach istniejących budżetów (oczywiście nie od razu, ale trzeba od czegoś zacząć). Mówię z punktu widzenia firmy działającej na normalnym rynku. Jednak niestety mogę marzyć o tym, aby porozmawiać na poważnie z osobą odpowiedzialną za takie decyzje w takich jednostkach, bo niestety większość osób boi się podjęcia jakichkolwiek decyzji. Dodatkowo często spotykam podejście "lepiej zostawić tak, jak jest, bo jeszcze się komuś narażę, a tutaj niedługo wybory, więc po co się wychylać".
Śledzę od samego początku dyskusje, które prowadzi VaGLa odnośnie przejrzystości na styku państwo / obywatel. Doceniam Piotrze to, co robisz, jednak wydaje mi się, że bez zmiany podejścia systemowego w Państwie to moje prawnuki nie doczekają takiej zmiany...
Podejście systemowe - co robię jako zaangażowany obywatel
Ja staram się działać wedle następującego wzorca: obserwuj, analizuj, działaj. Przez ostatnie lata zebrałem sporo obserwacji w tym serwisie. Regularnie staram się "zagarniać" w większe całości elementy tych obserwacji wraz z analizą zjawisk i trendów. Tam gdzie to możliwe staram się proponować rozwiązania, tworzyć narzędzia, przekonywać do podjęcia decyzji itp. Tyle mogę zrobić z pozycji zaangażowanego obywatela, nie zaś piastuna organów, w których obszarach zadań jest podejmowanie samych decyzji.
Przykład takiego podejścia w tym przypadku:
Obserwacja: loga zasłaniają udostępniane skany. Odnotowanie przypadku #1, przypadku #2, przypadku #n.
Analiza: przyczyna - wadliwe (z perspektywy obserwatora) zarządzenie NDAP. Wadliwa praktyka polegająca na udostępnianiu sklejonych z logo grafik (zamiast wykorzystania faktu, że media elektroniczne są/mogą być kompozytowe, czyli udostępnia się sklejone źródło wraz z zasłaniającym logiem. Pochylenie się nad tym, czy rzeczywiście tak jest, zbadanie kolejnych przypadków, odniesienie do innych praktyk, analiza potencjalnych konsekwencji. Pytanie, czy możliwe jest udostępnianie bez logo (względnie: dlaczego nie udostępnia się źródeł z dodatkami w formie niezasłaniającej, ustrukturalizowanej semantycznie warstwy, w tym metadanych).
Działanie: tekst #1, list #1, argumentacja w konsultacjach publicznych #1, wywiad w prasie #1, wniosek o dostęp do informacji publicznej #1, tekst #2 *(w tym ewentualnie uzyskanego komentarza lub odpowiedzi na tekst #1, wniosek o dostęp do informacji publicznej #1 lub list #1), list #2, argumentacja w konsultacjach publicznych #2, wywiad w prasie #2...
Wedle takiego mniej więcej wzorca działam.
--
[VaGla] Vigilant Android Generated for Logical Assassination
Nie trzeba ponownie skanować, są już dobre skany
Problem jest o wiele mniejszy niż Pan myśli.
Nie trzeba tego wszystkiego na nowo skanować, bo to jest już dobrze zeskanowane i "obrobione".
Należy tylko wymienić skany wstawione do sieci.
W miejsce tych specjalnie uszkodzonych decyzją NDAP (co, nawiasem mówiąc, pochłonęło dodatkowe środki finansowe), należy wstawić dobre skany, czyli skany z "etapu" wcześniejszego, przed ich "zasłonięciem".
Słowem wystarczyłoby nieco dobrej woli ze strony NDAP, tym bardziej, że proponowane przez nich rozwiązanie - sprawdzanie zgłoszeń i wymienianie pojedynczych skanów - to w praktyce znów wykonanie dodatkowej i w perspektywie zmarnowanej pracy. Czyli znów pieniądze będę wyrzucone w błoto.
Albowiem przy przyszłej wymianie skanów na dobre zapewne będzie się to odbywało hurtem, a nie "na piechotę", a więc bez pomijania tych już "dobrych".
Dobre skany już są zrobione...
Nie trzeba być wielkim informatykiem aby zauważyć następujące rzeczy:
1. Zgodnie z linkowanym wcześniej zarządzeniem NDAP archiwa dysponują oryginałami skanów w wysokiej jakości, z których zostały sporządzone te kopie popsute znakami wodnymi.
2. Nawet darmowe programy do przeglądania obrazków mogą pracować w trybie wsadowym dokonując automatycznie niezbędnych operacji, jak np.:
- skopiowanie metadanych EXIF/IPTC;
- konwersja pliku do zadanego w pikselach rozmiaru, zadanej jakości bądź wielkości pliku;
- dodanie marginesu;
- wstawienie tekstu w zadanym miejscu.
Cała praca koncepcyjna nad przygotowaniem skryptów do konwersji zorientowanej osobie zajmie być może mniej czasu niż zajęło przygotowanie zacytowanego powyżej pisma, zatem zamiana plików nie powinna być wielkim problemem.
Problemy są z nadaniem sensu skanom przez dodanie warstwy tekstowej i metadanych, bo tych prac nie da się w pełni zautomatyzować.
Dodawanie do skanów warstwy tekstowej robią np. biblioteki udostępniające roczniki czasopism w formacie djvu, ale pobieżna lektura skopiowanego tekstu od razu wskazuje, że bez ręcznej korekty rezultatów OCR ani rusz.
Metadane (data, autorzy itp.) powinny być wprowadzane już przy skanowaniu - można tu wykorzystać już istniejący opis katalogowy dokumentu i dane odczytane z samego skanu. Z tym drugim jest gorzej, bo nie ma uniwersalnego wzoru dokumentu, więc trzeba zgadywać, co ma trafić do jakiego pola metadanych.
Problemów z tekstem nie da się załatwić nawet dysponując największym budżetem, dlatego poprawianiem rezultatów OCR coraz częściej zajmują się wolontariusze. Przykładowo Google wykorzystują miliony użytkowników stosując reCAPTCHA z obrazkami zawierającymi fragmenty zeskanowanych książek (Google Books) czy sfotografowane numery domów (Google Street View).
Jak widać na powyższych przykładach - jeśli archiwum cyfrowe ma mieć sens, wszystkie nowe dokumenty muszą od razu powstawać jako tekst ze strukturalną warstwą metadanych, bo konwersja zawsze będzie stwarzała problemy.
Żeby robić od razu dobrze
Żeby robić od razu dobrze - to jest właśnie sens, dla którego poruszam w tym serwisie ten właśnie wątek (i rozszerzam go na orzeczenia, proces legislacyjny, informacje o finansach i dałoby się parę jeszcze innych wskazać, jak np. warstwowe mapy z meta informacjami i tak dalej).
--
[VaGla] Vigilant Android Generated for Logical Assassination
"Żeby robić od razu dobrze" - szkoda że wielu świadomie robi źle
Ponieważ uważa Pan, że sensem winna być zasada "żeby robić od razu dobrze", to może zechciałby Pan zainteresować się sposobem udostępnia skanów przez Bibliotekę Uniwersytetu Wrocławskiego?
Choć każdy, nieco poważniej traktujący zasoby sieci wie, jak ważna jest "łatwość" korzystania z nich, to jednak niektóre instytucje i to publiczne (utrzymywane z pieniędzy podatników) robią wiele by taki dostęp utrudnić, a czasem i wręcz uniemożliwić.
Robią tak, choć projekty na które dostali fundusze mówią, że celem jest "udostępnienie w sieci".
Przykładem takiego >specyficznego< "udostępnienia", czyli tak "żeby coś było", ale zarazem "by nie było za łatwo" jest sposób zastosowany przez Bibliotekę Wrocławską.
Gdy wiele już instytucji dało się przekonać do tego, że udostępnianie oznacza też możliwość pobrania skanu takiego obiektu, to w Bibliotece Uniwersytetu Wrocławskiego takiej opcji ("pobierz") nie widać.
Więcej nawet, zastosowali program, który w praktyce uniemożliwia nawet na korzystanie z tych skanów wprost na ekranie monitora. Aktywna jest bowiem tylko niewielka część ekranu, tak że, przy nieco większym powiększeniu, nie mieści tam nawet wąska jedna strona książki i trzeba przesuwać tam i z powrotem, by przeczytać jeden wers.
Proszę samemu zobaczyć i sprawdzić jak to działa, np.: Pozycja tekstowa BUWr
Jeszcze gorzej wygląda to w przypadku map. Korzystanie z nich to mordęga, a w sposób poważniejszy w praktyce nie da się z nich skorzystać.
Proszę zobaczyć np.: Mapa z BUWr
PS.
Proszę też zobaczyć jak działa wyszukiwanie. Proszę zobaczyć np.: Nie ma najbardziej oczywistej, i bardzo często niezbędnej, opcji "przez dowolne słowo" i innych. i np. poszukać jakie atlasy są tam udostępnione.
Zoomify w BUWr
Oba linki pod Windows wyświetlają się z użyciem zoomify (http://www.zoomify.com/), pod Linuksem (Debian jessie) nie wyświetlają mi się w ogóle. W przypadku książek to moim zdaniem nie ma zupełnie sensu, w przypadku map może być usprawiedliwione, choć osobiście uważam, że DjVu (por. np. http://djvu.pl/) jest do tych celów lepsze.
Niewątpliwie ciekawe są motywy użycia zoomify przez BUWr - celowo chcieli utrudnić "kradzież" skanów czy tylko chcieli zastosować "nowoczesną" technologię, żeby się czymś odróżnić od innych bibliotek cyfrowych?
Zoomify w BUWr - c.d.
Nawet gdyby uznać, że zoomify jest uzasadnione w przypadku map, to jego zastosowanie w BUWr jest niewłaściwe - brakuje opcji "Enter Full View", a standardowe okienka są stanowczo za małe.
Nawiasem mówiąc, po aktualnieniu Flasha działa również pod Linuksem.
Pies ogrodnika
Widać na pomysł pokazywania skarbów przez dziurkę od klucza wpadł urzędnik o mentalności psa ogrodnika, bo takie zniechęcanie trudno inaczej wytłumaczyć.
Przecież zwykłemu użytkownikowi do oglądania obrazka wystarczą istniejące funkcje przeglądarki www, a użytkownik zainteresowany pracą nad dokumentem raczej pobierze plik w maksymalnej rozdzielczości i będzie przeglądał go offline w przeglądarce graficznej z użyciem filtrów ułatwiających odcyfrowanie treści.
zaginiony pies ogrodnika w Bibliotece Narodowej
Wbrew szumnym deklaracjom oryginalnych skanów nie można pobrać również w Bibliotece Narodowej. To znaczy po zalogowaniu (po co BN dane użytkownika?) można pobrać skan jednej strony. Kompletne publikacje można pobrać tylko wtedy, gdy przeszły przez OCR, wówczas są dostępne jako PDF, ale o zmniejszonej rozdzielczości.
Tak więc "targetem" nowej wersji biblioteki cyfrowej BN (ciekawe, ile kosztowało jej wykonanie - była podobno robiona od zera) nie jest naukowiec czy inny poważny użytkownik, ale poszukiwacz ciekawostek w rodzaju "Zaginione psy osiemnastowiecznej Warszawy" (http://blog.polona.pl/2014/12/zaginione-psy/).
Ochrona, jak ochrona.Na
Ochrona, jak ochrona.
Na stronie: http://commons.wikimedia.org/wiki/Help:Zoomable_images
w pozycji "Dezoomify2" jest opisane w jaki sposób można ściągnąć obrazek w całości. W wypadku strony dokumentu, jaki podałeś działa to poprawnie dając dokument rzędu 40MB. W wypadku mapy mój komputer się poddał.
Możesz też zainstalować Add-ondo FireFox'a o nazwie WebDevelopper. Potem na stronie wybrać z menu "Narzędzia->Inspector" i w okienku u dołu rozwinąć body->div->div-> aż zobaczysz id="theMovie". Wystarczy wtedy kliknąć nań prawym przyciskiem
i wybrać Edit As Html. W ostatniej linijce zmienić height="600" i width="800" na większe liczby, kliknąć gdzieś obok i możesz cieszyć się większym okienkiem, nadal jednak bez możliwości zapisu w inny sposób niż partiami, przez Print Screen (przycisk na klawiaturze, który naciśnięty kopiuje zrzut ekranu do schowka).
Choć szczerze mówiąc, ciekaw jestem jak takie coś wygląda od strony prawnej? Czy fakt, że wiem w jaki sposób maszyna ściąga dane, dysponuję odpowiednimi danymi przesłanymi z serwera na mój komputer oraz potrafię tą wiedzę wykorzystać jest naruszeniem praw?
Czy musiałeś się zarejestrować na stronie biblioteki i zaakceptować regulamin, który zabrania Ci takiego działania?
Pozdrawiam,
Tomasz Sztejka