Ieraksti ar birku "Saeima"

Open Data kustība Latvijā ir oficiāli sākusies, jo 3. decembrī veiksmīgi notika pirmais Open Data Day Hackathon pasākums!

Uz pasākuma pirmo daļu bija ieradušies 10 dažāda profila interesenti un sākām ar iepazīšanos un ideju apmaiņu par open data iniciatīvām un potenciālajiem projektiem Latvijā. Pēc pasākuma uztapušajā wiki lapā varat apskatīt gan dalībnieku sarakstu, gan arī ideju un potenciālo projektu pierakstus. Priecē, ka open data idejas interesē dažādu jomu pārstāvjus - bija gan programmētāji, gan uzņēmēji, gan valsts institūciju pārstāvji, gan nevalstisko organizāciju pārstāvji, gan akadēmisko institūciju darbinieki, gan juristi (šoreiz gan atsevišķas jomas bija pārstāvētas vienskaitlī :)). Cerams, ka šo dažādo jomu pārstāvju sadarbība veicinās open data ideju popularizēšanu plāšākā sabiedrības lokā.

Pasākuma otrā daļa bija praktiskā "hakatona" sadaļa, kurā bez manis piedalījās vēl Jānis Baiža, Valdis Krebs, Uldis Bojārs un Pēteris Ručevskis. Iesākumā Valdis, Pēteris un Uldis strādāja pie jau agrāk manis sagatavotajiem partiju ziedotāju datiem, lai tos apstrādātu un izanalizētu kopsakarības ar SNA grafu analīzes rīku. Savukārt mēs ar Jāni uzsākām Saiemas sēžu darba kārtības un balsojumu datu iegūšanas programmas izstrādi, lai tos varētu izmantot tālākai Saeimas balsojumu analīzei.

Kā jau citās līdzīgās Latvijas valsts institūciju web lapās Saeimas sēžu darba kārtības un deputātu balsojumi ir pieejamas tikai kā individuālas web lapas, kas nav piemērotas analītisku datu iegūšanai. Tādēļ izveidojām programmu, kas iziet cauri visām Saeimas sēdēm un no šīm web lapām iegūst izejas datus par deputāti balsojumiem un sagatavo tos CSV failu formātā tālākai apstrādei. Rezultātā ieguvām gan 11. Saeimas visu balsojumu datus gan arī pāris dienu vēlāk tika sagatavoti 10. Saeimas balsojumu dati.

Nu un tālāk šos datus jau var izmantot dažāda veida analīzei - piemēram, kuri deputāti visvairāk neapmeklē sēdes, vai arī kuri apmeklē sēdes, bet nezin kāpēc bieži nepiedalās balsojumos. Šadu analīzi ar eazyBI palīdzību tagad var apskatīties, gan par 11. Saeimu, gan arī par 10. Saeimu. Kā piemēru šeit ievietoju 11. Saeimas "top bastotāju" tabulu :)

Par partiju ziedotāju un Saeimas deputātu balsojumu sociālo tīklu analīzes rezultātiem varat izlasīt Valda Kreba bloga rakstā. Šeit ievietoju viņa veidotā tīkla vizualizācijas piemēru, ko varētu arī saukt par politisko māklsu :)

Šos Saeimas balsojumu datus būtu interesanti arī paanalizēt tālāk, lai identificētu, kuriem deputātiem balsojums parasti sakrīt ar partijas viedokli un kuriem savukārt bieži nesakrīt. Kā arī varbūt parādās kādas citas saistības starp deputātiem, kas nav atkarīgas no partiju piederības.

Nobeigumā gribēju arī pateikt paldies eBIT par viesmīlīgajām "hakatona" telpām. Un domāju, ka tuvākajā nākotnē open data "hakatoni" noteikti tiks atkārtoti, tā ka lūdzu interesentus piebiedroties mūsu pulkam un to popularizēt tālāk! Sekojiet mums Twitter un Facebook lapās, kā arī "retwītojiet" un "laikojiet" tās :)

Ar nelielu novēlošanos publicēju pirms mēneša notikušo Saeimas vēlēšanu rezultātu analīzi:

• Vēlētāju aktivitāte
• Vēlēšanu rezultāti
• Kandidātu individuālie reitingi

Šoreiz datu apstrādi atvieglināja tas, ka bija jau pieredze apstrādāt CVK tautas nobalsošanas datus un Saeimas rezultātu XML faili bija līdzīgi iepriekšējiem. Problēma vienīgi bija ar to, ka vēlēšanu rezultāti CVK vēlēšanu rezultātu lapā vispirms parādījās tikai HTML veidā, XML faili parādījās tikai vēlāk nakts vidū un kā rezultātā bija jāpastrādā tonakt mazliet ilgāk :)

Kā arī nav īsti skaidrs, kādēļ kandidātu plusu un svītrojumu dati ir pieejami tikai HTML lapu veidā un netiek piedāvāts pilns XML rezultātu fails. Tādēļ, lai ielādētu šos rezultātus, nācās atkal tos savākt ar web crawling palīdzību, vispirms saprotot web lapu viltīgo URL struktūru - piemēram, www.cvk.lv/cgi-bin/wdbcgiw/base/Saeima11.galrez11.kandid?NR1=110100001 mistiskajā NR1 parametrā ir apvienots kopā partijas numurs 1 un iecirkņa numurs 10100001.

Attiecībā par CVK operatīvo datu interpretāciju es ievēroju, ka pārsvarā visi mēdiji vēlēšanu aktivitātes lapā ignorēja kolonnu Atrašanās vietās un kā rezultātā ziņoja kopējo vēlētāju aktivitāti par kādu pusotru procentu zemāk. Bet visi mēdiji cītīgi ziņoja nepareizos kopējos aktivitātes procentus ar precizitāti līdz divām zīmēm aiz komata. Bet tā laikam cilvēka smadzenes ir uzbūvētas, ka mums ir lielāka ticība nepareiziem, bet precīziem datiem, nevis pareiziem, bet neprecīziem datiem :)

Tā ka CVK vēl ir iespējas uzlabot savu sniegto servisu :) un publicēt pilnībā visus datus XML failu veidā, kā arī sniegt īsu aprakstu, kā šos datus pieprasīt un ko katrs rādītājs nozīmē un kā tos visus vajag pareizi summēt kopā.

Pēc vēlēšanu nakts saites uz rezultātu grafikiem kādu laiku ceļoja pa Twitter un citiem saziņas līdzekļiem un man bija prieks, ka cilvēkiem patika apskatīt vēlēšanu rezultātus smukākā vizuālā veidā. Vienai no partijām tik ļoti iepatikās publicētie grafiki, ka viņi nopublicēja savā mājas lapā kartes grafiku ar saviem vēlēšanu rezultātiem pa pilsētām un novadiem. Ja kādam citam ir interese par eazyBI publisko grafiku ievietošanu savās mājās lapās, tad droši to dariet un vajadzības gadījumā vaicājiet man palīdzību.