Praktické nástroje na sledovanie webu a prácu s dátami

Praktické nástroje na sledovanie webu a prácu s dátami

Autor, vývojár, správca

Skupina menších praktických nástrojov zameraných na sledovanie meniacich sa webových zdrojov, získavanie a štruktúrovanie užitočných informácií a ich sprístupnenie cez použiteľné rozhrania, notifikácie alebo vizualizácie.

Technológie

  • Python
  • Java
  • Node.js
  • SQLite
  • Web scraping
  • Monitoring
  • Vizualizácia dát
  • Automatizácia

Zhrnutie

  • Sledovanie, agregácia a štruktúrované získavanie údajov z meniacich sa webových zdrojov
  • Praktické nástroje od každodenných úžitkových aplikácií po jednoduchú verejne dostupnú analytiku
  • Prepája zber, ukladanie, analýzu a prezentáciu dát naprieč viacerými menšími systémami

Prehľad

Táto položka spája viacero menších praktických projektov postavených na rovnakom princípe: sledovať meniace sa informácie na webe, premieňať neprehľadné zdroje na štruktúrované dáta, ukladať ich a sprístupniť ich cez použiteľné rozhrania alebo vizuálne výstupy. Konkrétne implementácie sa líšia, ale opakujúci sa záujem je rovnaký: ľahké systémy, ktoré robia užitočné informácie jednoduchšie sledovateľné, zrozumiteľné a znovu použiteľné. Patrí sem napríklad udržiavaná aplikácia s obedovými menu pre vybrané lokality v Bratislave, aplikácia na sledovanie zmien webových stránok s históriou a voliteľnými notifikáciami a projekt zberu a vizualizácie dát o návštevnosti Mestskej plavárne v Žiline. Spolu tvoria ukážku záujmu o praktické informačné nástroje, nie jednorazové skripty: malé systémy s perzistenciou, štruktúrou a reálnou každodennou užitočnosťou.