Zobaczyć wynik po ocenie zamówienia

[Frekwencja wyborcza w wyborach samorządowych 2006] Nie chcę nikogo atakować, ani nikogo bronić. Media zaczęły komentować fakt, że przez dwa dni, w okresie, w którym dostępność serwisu Państwowej Komisji Wyborczej była najbardziej pożądana i oczekiwana, serwis był niedostępny. Cóż można powiedzieć o tym fakcie? Analogia do systemu stworzonego przez Pixel wydaje się wielu komentatorom uprawniona. Warto jednak przyjrzeć się Specyfikacji Istotnych Warunków Zamówienia internetowej wizualizacji systemu wyborczego. Jest dostępna na stronie PKW...

Zacznijmy od komentarza Gazety Prawnej: "Nasze pytanie, czy tak olbrzymiego zainteresowania wynikami wyborów ze strony 11 mln internautów nie można było przewidzieć, pozostało bez odpowiedzi. Kilka pytań dotyczących kłopotów ze stroną WWW PKW zadaliśmy Stefanowi Batoremu, szefowi eo Networks. Tłumacząc się brakiem czasu obiecał, że odpowie w środę". W poprzedniej notatce napisałem, że nie jestem obiektywny. Zastanawiam się w jaki sposób zatem przeanalizować problem braku internetowego serwisu wyborczego. W sytuacji, gdy w czasie wyborów powszechnych serwis internetowy mający prezentować wyniki wyborcze "leży", trudno się dziwić, że prezes spółki, która wykonała serwis jest nieco zajęty... Nie jestem obiektywny.

Ale ok. Cóż możemy wyciągnąć z internetu? Proponuję zacząć od serwisu alexa.com. Pod wskazanym linkiem znajdziecie państwo wykres obłożenia serwisu internetowego Państwowej Komisji Wyborczej:

wykres oglądalności serwisu pod domeną pkw.gov.pl w ostatnim miesiącu

Wykres "Daily Reach (per million)" serwisu internetowego znajdującego się pod domeną pkw.gov.pl z ostatniego miesiąca. Gdy ocenia się te trendy w skali 3 miesiecy, to warto zwrócić uwagę na parametr Reach per million users (3 mos. Change), który wzrósł o 1,674%

wykres oglądalności pkw.gov.pl z ostatnich 3 lat

Powyższy wykres przedstawia oglądalność serwisu internetowego PKW z ostatnich trzech lat. Widzicie Państwo różnicę? Te maleńkie, prawie niedostrzegalne "wzrosty" to wybory: wybory do Parlamentu Europejskiego (13 czerwca 2004 r.), wybory do Sejmu RP i do Senatu RP (25 września 2005), wybory Prezydenta RP (9 października 2005). Takie było zainteresowanie witryną PKW w tym okresie, jak widać na załączonym wykresiku. Fajnie, nie? Zaś przy ostatniej kresce kończącej podziałkę widać zainteresowanie witryną sięgające 600 milionów (Daily Reach), ponad "sufit" tego ostatniego wykresu...

No właśnie. Na witrynie PKW, w dziale "zamówienia publiczne" proszę znaleźć OGŁOSZENIE O PRZETARGU NIEOGRANICZONYM o szacunkowej wartości pow. 137 000 euro. Tam można znaleźć plik w formacie DOC (to Specyfikacja Istotnych Warunków Zamówienia na wizualizację wyników wyborczych A.D. 2006; termin składania ofert upłynął "dnia 7 sierpnia 2006r. o godzinie 12:00", zaś termin realizacji — "do 28 listopada 2006r".

Wymagania dotyczące wizualizacji wyborów do organów samorządu terytorialnego (za SIWZ PKW)

1. Serwis musi być umieszczony na własnych zasobach technicznych (hosting) przynajmniej w 2 lokalizacjach: podstawowej i zapasowej;

2. Serwis musi mieć zapewnione:

2.1 w okresie od rozpoczęcia pracy serwisu do 3-ciego dnia przed dniem głosowania, tj. w trakcie tzw. „normalnego” trybu pracy:

a) min. 2 łącza do sieci Internet (podstawowe i zapasowe) dostarczone od ogólnokrajowych dostawców o zmiennej przepustowości od 2Mbps do 8 Mbps - w zależności od obciążenia serwisu,

b) wydajność działania rzędu 1 mln odsłon miesięcznie, przy limicie 100 000 odsłon w okienku 8 godzin;

c) możliwość publikowania danych i artykułów nie później niż po 2 godzinach od przekazania przez zamawiającego,

d) czas naprawy wykrytych usterek – 8 godzin,
2.2 w okresie od 3-ciego dnia przed dniem głosowania do 7-mego dnia po zakończeniu akcji wyborczej i opublikowaniu wyników wyborów:

a) min. 2 łącza do sieci Internet (podstawowe i zapasowe) dostarczone od ogólnokrajowych dostawców o zmiennej przepustowości od 24Mbps do 64 Mbps - w zależności od obciążenia serwisu,

b) wydajność działania rzędu 44 odsłon w ciągu sekundy dla statycznej strony, której wielkość nie przekracza 142,5 kB (bez kompresji) - stwierdzenie to odnosi się do wydajności infrastruktury, a nie maksymalnego pasma dostępu do sieci Internet,

c) wydajność działania rzędu 500 000 odsłon w okienku 8 godzin;

d) możliwość aktualizowania w ciągu 45 minut od przekazania danych przez Zamawiającego,

e) możliwość publikowania dokumentów w ciągu 1 godziny od przekazania przez uprawnionego Zamawiającego,

f) czas naprawy wykrytych usterek – 1 godzinę,

g) pełną obsługę administracyjną przez 24 godziny na dobę,

2.3 mieć zapewnioną ciągłą obsługę programistyczną i graficzną serwisu podczas całej akcji wyborczej;

2.4 mieć zapewnioną ciągłość działania, z wyjątkiem uzgodnionych wcześniej przerw konserwacyjnych, w tym dostępności odpowiedniego sprzętu rezerwowego, zastępczej infrastruktury sieciowej oraz łącz rezerwowych;

3. Zapewnianie utrzymywanie kopii zapasowych systemu z częstotliwością co 8 godzin w okresie wzmożonego trybu pracy oraz częstotliwością 24–godzinną w normalnym trybie pracy;

4. Umożliwianie zdalnego modyfikowania struktury serwisu oraz aktualizacji treści w serwisie przy użyciu sieci Internet (na czas wzmożony wymagane jest zestawienie dodatkowego kanału cyfrowego z siedzibą zamawiającego o przepustowości 4Mbps – bez dostępu do sieci Internet);

5. Posiadać system monitorujący poprawność i stan działania całego systemu wizualizacji;

I jak to teraz wygląda? Warto chyba jeszcze przywołać jeden z elementów przedstawionych w SIWZ przez zamawiającego, tj. "Inne wymagania stanowiące istotne warunki przedmiotu zamówienia":

(...)
2. Sposób przeprowadzenia testów
1.1. W ciągu dwóch tygodni od podpisania umowy Zamawiający dostarczy Wykonawcy zestaw danych testowych oparty na wynikach wyborów do organów samorządowych w 2002r.,

1.2. Warunkiem odbioru przez Zamawiającego serwisu o wymaganiach technicznych i eksploatacyjnych opisanych w punkcie C specyfikacji jest pozytywny wynik testów funkcjonalnych (zgodność ze specyfikacją i ofertą) oraz wydajnościowych, polegających na symulacji obciążenia danymi testowymi, o których mowa w punkcie wyżej
(...)

I jeszcze "Kryteria wyboru ofert, wagi kryteriów i sposób oceny ofert" (cytuje tendencyjnie i wybiórczo, ale zainteresowani wiedzą, gdzie znaleźć pełną treść dokumentu):

...Zamawiający wybierze najkorzystniejszą ofertę spośród nieodrzuconych ofert według poniższych kryteriów oceny ofert i ich wag:

1) 60% — cena ofertowa,

2) 20% — ocena projektu wizualizacji,

3) 10% — ocena projektu graficznego serwisu internetowego i Rejestrem Korzyści,

4) 10% — ocena funkcjonalności systemu zarządzania treścią serwisu

Poczekam na komunikat prasowy eo Networks. Jestem też ciekawy czy PKW ogłosi ile kosztowało wykonanie tej wizualizacji wyborczej. Gazeta Prawna pisze: "Wart ponad 700 tys. zł kontrakt na wizualizację wyników wyborów zdobyło konsorcjum ATM i eo Networks". Czy istotnie to co niezdzierżyło naporu internautów kosztowało 700 tys. zł? Chyba jednak cena była nieco inna.

Opcje przeglądania komentarzy

Wybierz sposób przeglądania komentarzy oraz kliknij "Zachowaj ustawienia", by aktywować zmiany.

Jeszcze porównanie do serwisu UZP

VaGla's picture

Dla porównania jeszcze warto zobaczyć jak wygląda trzyletni wykres trendów oglądalności dla witryny Urzędu Zamówień Publicznych. Tej samej witryny, o której pisałem w notatce Problem z działaniem serwisu UZP (porównaj również uwagi pt. Jak to jest z oglądalnością witryn administracji publicznej?; w przedstawionym tam "rankingu" witryna UZP jest na 9 miejscu wśród serwisów administracji publicznej z parametrem 3.704.534 odsłon w czerwcu 2006).

Wykres witryny Urzędu Zamówień Publicznych

Trzyletni wykres trendów oglądalności witryny Urzędu Zamówień Publicznych dla porównania z powyższymi wykresami witryny Państwowej Komisji Wyborczej.

--
[VaGla] Vigilant Android Generated for Logical Assassination

Wydaje się, że cena jednak

Wydaje się, że cena jednak podana jest poprawnie.
Proszę spojrzeć...

Uwagi

1. Dokładnie 723 220,88 zł za całość - 3 moduły.
wyniki przetargu

2. Nie mam pretensji, że system nie przeniósł dużo większego obciążenia, niż zamówione/szacowane. Szkoda, że komunikaty o błędach były niedopracowane.

3. Przedstawiane statystyki mogą być mylące. Po przekroczeniu progu wydajności serwisu kolejne próby obejrzenia niedostępnej treści generują coraz większe obciążenie.

Dziękuje za ten głos

VaGla's picture

Starałem się pokazać jakieś odniesienie, by nie komentować sprawy wyłącznie w oparciu o swoje wyobrażenia. Próbowałem się dowiedzieć ile wynosiła cena za moduł, który nie podołał (jeden z tych trzech - jak rozumiem - o którym mowa w komentarzu powyżej). Mowa jest o kwocie około 20 tys. złotych. Tę informacje jeszcze chciałbym potwierdzić. Dlaczego to jest istotne? Wydaje mi się to istotne, gdyż ogólnie mało jest informacji (zagregowanej) na temat cen wybranych w przetargach na infrastrukturę tego typu zamawianej przez administracje publiczną. Owszem - te informacje są rozrzucone po stronach zamówień publicznych. Jak znajdę chwile to może postaram się pozbierać jakoś próbki takich danych i może skomentować (o ile to nie przerośnie moich możliwości). W poprzedniej notatce zaprezentowałem to, co moja przeglądarka pokazała mi w czasie próby odwiedzenia serwisu PKW. Jak tam widać - praktycznie nie można mówić o jakimkolwiek komunikacie, bo zupełnie się nie "wbiłem" do warstwy serwera (wygenerował to co tam widać localhost). Nie udało mi się zrobić screena komunikatu o błędach zaimplementowanego w ramach serwisu. Jestem przekonany, że znajdzie się gdzieś "na Sieci" taki screen. Zgoda - jeśli chodzi o ewentualne przeszacowanie trendów alexa.com. Pytanie: jak dotrzeć do rzeczywistych statystyk i czy jest to możliwe (w takim sensie: czy są statystyki, które nieuwzględniały by błędów po przekroczeniu progu wydajności; wydaje mi się że nie, ale nie jestem administratorem)? Takie dane mogłyby się przydać, by PKW w przyszłości tworząc SIWZ mógł uwzględnić realne obłożenie potrzebnej infrastruktury. Mam na myśli to, by w przyszłych wyborach zasoby PKW były dostępne w czasie, gdy ludzie zechcą się z nimi zapoznać.
--
[VaGla] Vigilant Android Generated for Logical Assassination

mam wstępne potwierdzenie...

VaGla's picture

Mam potwierdzenie w tekście IDG: "...Stefan Batory wskazał, że przywoływana przez nas kwota 723 tys. zł jaką otrzymało konsorcjum składające się Eo Networks i ATM jest kwota oferty brutto (netto: 592 tys. zł) i obejmuje nie tylko hosting wizualizacji, ale również wykonanie nowej strony PKW, Rejestru Korzyści, przygotowanie danych do publikacji statystycznej oraz hosting i administrację stronami PKW i serwerem poczty przez okres 48 miesięcy. Sam hosting wizualizacji został wykonany za 20 tys. zł + VAT."
--
[VaGla] Vigilant Android Generated for Logical Assassination

O statystykach alexa.com

VaGla's picture

W komentarzy do nieco wcześniej (dzień po wyborach) opublikowanego tekstu IDG: Gdzie są wyniki wyborów?, użytkownik ocelot napisał właśnie "podsumowujac, alexa nie wydaje sie byc dobrym, pewnym zrodlem informacji o obciazeniu serwerow pkw" o przedstawił na to interesujące argumenty. Warto również odnotować tekst Marka Futregi Statystyki Alexa, kilka obserwacji, w którym prezentuje on własny "klucz" do "poprawnego rozumienia statystyk Aleksy". Z mojej perspektywy interesujące byłyby publicznie dostępne statystyki oglądalności (używalności) serwisów administracji publicznej (nie tylko PKW, stąd właśnie z radością powitałem kiedyś analizę tego ostatniego autora materiału zbieranego przez Gemius, a sam zestawiłem ze sobą serwisy publiczne), gdyż pozwoliłoby to na polepszenie działania e-government w Polsce. Mamy zbyt mało publicznie dostępnych case studys, na podstawie których można by przygotowywać SIWZ'y. Ktoś na ten temat powinien napisać doktorat zarówno w ramach nauk technicznych jak i zarządzania.
--
[VaGla] Vigilant Android Generated for Logical Assassination

W celu odniesienia się do

W celu odniesienia się do sposobu wyboru oferty oprócz kryteriów wyboru wskazane byłoby dotarcie o oceny punktowej w podanych kryteriach wszystkich ofert jakie zostały złożone w tym przetargu. Wówczas pewnie dałoby to obraz, że wygrała oferta najtańsza ale wcale nie najlepsza pod względem rozwiązań funkcjonalno-mertytorczynym.
Do tego należy prównać również kwotę jaka była przez PKW zabudżetowana na wykonanie całego projektu. Była ona blisko 3 razy większa od wybranej oferty.
Kolejne pytanie to czy rzeczywiście za 20 tys można było zrealizować sensowny hostning wizualizacji (koszty łącz, serwerów itd itp). Być może podana cena była znacznie zaniżona w stosunku do potrzeb tylko po to by wygrać cenowo przetarg co w konsekwencji dało widoczne skutki. Jednocześnie myślę, że poza kwotą 20 tys za hosting wchodziły w grę jeszcze jakaś pieniądze za wykonanie samego serwisu.
Wynika z tego, że za zaplanowane w budżecie pieniądze można było wykonać serwis wizualizacyjny działający dużo sprawniej.

To by się składało w

To by się składało w całośc jeżeli weźmiemy do tego pod uwagę następujące fakty:

  • cały projekt ma być realizowany przez cztery lata
  • ATM i EO aktualnie utrzymują witrynę PKW, BIP i Rejestr korzyści
  • przegrali przetarg na wizualizację poprzednich wyborów (do Sejmu, Senatu i na Prezydenta)

Wydajność serwisu

Jeśli już cytowany jest SIWZ to może warto równiez przytoczyć wypowiedź prezesa EO publikowaną na ich stronie EO Networks po wygraniu przetargu:

...Projekt zakłada opracowanie wydajnego i skalowalnego systemu, mogącego obsłużyć setki tysięcy internautów, do czego przewidziano odpowiednią infrastrukturę techniczną, w szczególności wykorzystanie łącza o przepustowości do 64 Mb/s...

I gdzie podziała się ta skalowalność i możliwość obsłużenia setek tysięcy internautów? Chyba, że liczba ta była podawana w skali miesiąca. :)

Piotr VaGla Waglowski

VaGla
Piotr VaGla Waglowski - prawnik, publicysta i webmaster, autor serwisu VaGla.pl Prawo i Internet. Członek Rady ds Cyfryzacji przy Ministrze Cyfryzacji, ekspert w Departamencie Oceny Ryzyka Regulacyjnego Ministerstwa Rozwoju, felietonista miesięcznika "IT w Administracji" (wcześniej również felietonista miesięcznika "Gazeta Bankowa" i tygodnika "Wprost"). Uczestniczył w pracach Obywatelskiego Forum Legislacji, działającego przy Fundacji im. Stefana Batorego w ramach programu Odpowiedzialne Państwo. W 1995 założył pierwszą w internecie listę dyskusyjną na temat prawa w języku polskim, Członek Założyciel Internet Society Poland, pełnił funkcję Członka Zarządu ISOC Polska i Członka Rady Polskiej Izby Informatyki i Telekomunikacji. Był również Członkiem Rady Informatyzacji przy MSWiA, członkiem Zespołu ds. otwartych danych i zasobów przy Komitecie Rady Ministrów do spraw Cyfryzacji oraz Doradcą społecznym Prezesa Urzędu Komunikacji Elektronicznej ds. funkcjonowania rynku mediów w szczególności w zakresie neutralności sieci. W latach 2009-2014 Zastępca Przewodniczącego Rady Fundacji Nowoczesna Polska, w tym czasie był również Członkiem Rady Programowej Fundacji Panoptykon. Więcej >>