Lepší informace s Yahoo Pipes
Pokud mluvíme o webových službách, pak se světlo nesblížilo s Google. Zajímavé služby mají i další společnosti. V tomto článku se seznámíme s Yahoo! Pipes, který umožňuje manipulovat s obsahem téměř celého internetu. Služba může být užitečná pro profesionální blogery a webové novináře.
Web instalatérů
Jako obvykle, na podzim jsou pracovníci veřejných služeb aktivnější a začínají všude vyměňovat vodovodní a kanalizační potrubí. Na internetu jsou ale i dýmky. Pouze těmito trubkami neproudí voda, ale informace. Díky Yahoo! Uživatelé Pipes internetu se mohou také zapojit do instalace a zprovoznění virtuálních informačních kanálů.
Yahoo! Pipes je webová služba, která je určena především pro zpracování a manipulaci s RSS kanály, nazývanými také news feedy. Tyto kanály RSS jsou k dispozici na mnoha webových stránkách a blozích. Obvykle popisují změny na webu nebo blogu. Ke shromažďování, zpracování a čtení těchto kanálů se používají speciální programy agregátorů.
Podle svého účelu webová služba Yahoo! Pipes přesně patří do třídy informačních agregátorů. Umožňuje přijímat streamy z různých zdrojů na internetu, zpracovávat je, nastavovat jim pravidla pomocí různých filtrů a jako výstup přijímat upravený RSS feed.
To vše lze navíc provést přímo v prohlížeči, v grafickém režimu. Zde není třeba psát žádné skripty. Filtry pro zpracování informací jsou vyrobeny ve formě grafických bloků navzájem propojených potrubím a všechny manipulace se provádějí pomocí myši.
Zdrojem dat pro službu mohou být nejen RSS kanály. Yahoo! Pipes také pracuje s informacemi ve formátech CVS, XML, JSON. Služba může také přímo zpracovávat HTML stránky, i když s určitými omezeními. Je možné získat data z Google, Flickr.
Yahoo! Potrubí je mocný nástroj. Tato síla má ale i stinnou stránku. Nejedná se o službu „hospodyňky“ a vyžaduje pochopení principů a struktury internetových dat. Hlavní je zde znalost struktury RSS kanálů. Čím více těchto znalostí, tím lépe, protože služba vám umožňuje řešit problémy, pro které byste jinak museli napsat speciální program nebo skript.
Možná právě pro její relativní komplexnost se této službě nevěnuje mnoho článků v počítačovém tisku. Přestože služba existuje již dlouhou dobu, několik let.
Zatímco Yahoo! Pipes je populární mezi takzvanými „optimalizátory“ a „propagátory“ stránek. Tento nástroj vytvořený programátory Yahoo se ale může hodit každému, kdo potřebuje mít na očích a zpracovávat velké množství různých informačních zdrojů – webové stránky, blogy, RSS kanály atd. Třeba cool blogeři.
Vždyť co je pro opravdového blogera nejdůležitější? Toto je skvělý zdroj přátel. A zdroje přátel na blozích jsou přesně založeny na zdrojích RSS. Můžeme říci, že zdroj přátel ve stejném Livejournalu nebo Blogspotu je technologicky také RSS agregátor.
Principy práce
Nejjednodušší způsob, jak pochopit, jak Yahoo! Trubky budou pro Unixoidy. Tato služba využívá princip zpracování dat pipeline pomocí „pipelines“. Tato „roura“ v systémech UNIX umožňuje sekvenčně přenášet data ze standardního výstupu jednoho programu na standardní vstup jiného programu a vytvářet tak flexibilní řetězce příkazů.
Yahoo! Potrubí je také spousta jednoduchých modulů, které plní jeden úkol. Tyto moduly mají vstup a výstup, které lze vzájemně propojit a vytvořit tak potrubí pro zpracování dat.
moduly Yahoo! Pipes se specializují především na práci a manipulaci s daty RSS feedu ve formátu XML. Existují ale i moduly pro zpracování dat jako prostého textu. A jak jsme řekli výše, Yahoo! Pipes vše se děje v grafickém režimu – pomocí myši v prohlížeči.
rozhraní
Pro praktické seznámení s Yahoo! Pipes přejděte na adresu pipes.yahoo.com, zaregistrujte se do systému a získejte službu. Servisním jazykem je angličtina.
Zde klikneme na tlačítko „Vytvořit potrubí“ a zobrazí se okno pro úpravy „potrubí“. Má tři hlavní panely.
Na levé straně je panel modulů a nástrojů. V nabídce jsou seskupeny do sekcí: Zdroj, Uživatelské vstupy, Operátoři, URL, Řetězec, Lokátory, Datum, Číslo.
Největší panel je hlavní oblastí, kde se moduly z levého panelu přetahují pomocí myši v režimu přetahování. Moduly mají vstupní a výstupní body nahoře a dole. Tyto body jsou propojeny potrubím. Najedete-li kurzorem myši na oblast vstupního a výstupního bodu, objeví se nůžky, na které můžete smazat spojovací potrubí.
Zpracování dat v těchto modulech probíhá postupně shora dolů. Data, stejně jako voda, proudí potrubím z jednoho „kontejneru“ do druhého, kde s nimi může docházet k určitým transformacím.
Chcete-li získat krátkou nápovědu k některému z prvků, musíte kliknout na otazník v názvu libovolného modulu. A dole na levém panelu bude popis modulu a odkazy na příklady.
Při vytváření a ladění potrubí nezapomeňte na Debugger – oblast ve spodní části pracovního okna. V Debuggeru můžete sledovat všechna mezilehlá data a probíhající transformaci rss kanálů.
Samotný proces vytváření „potrubí“ zahrnuje přetažení bloků modulů pomocí myši a jejich spojení s potrubím.
Popis modulů
Protože přenášení modulů a jejich spojování s trubkami není obtížné, pojďme se seznámit s moduly samotnými. Tyto moduly jsou hlavní silou Yahoo! Trubky. Podívejme se na hlavní kategorie těchto obslužných bloků, které služba poskytuje.
Prameny. Tato sekce obsahuje moduly pro import a stahování streamů z webu. Můžete si stáhnout konkrétní rss adresu, html stránku, cvs nebo json soubor. Pokud nechcete sami hledat odkaz na zdroj zpráv, na stránce zdroje RSS „Automatické zjišťování zdrojů“ je vyhledávací modul; vyhledávací modul pro geografické databáze Google, Flickr a Yahoo!
Uživatelské vstupy. Tato část představuje moduly pro interaktivní uživatelské zadávání hodnot. Tyto hodnoty budou zpracovány v „potrubí“ a použity k vytvoření finální pásky. Mezi podporované datové typy patří text, číslo, datum, umístění, URL.
Operátoři. Velmi důležitá sekce. Zde jsou umístěny moduly pro manipulaci s prvky datového toku. Nejdůležitější je zde modul Filtr, který umožňuje filtrovat prvky datového toku podle nastavených podmínek. Takovými podmínkami může být například shoda s regulárními výrazy, přítomnost určitého obsahu v proudu, pořadí a velikost prvků v proudu.
Loop Module je také důležitý modul v sekci operátorů. Ten sám nic nemění, ale postupně iteruje prvky v něm uvedené a aplikuje na ně modul zpracování, který je umístěn uprostřed tohoto modulu Loop samotného. K tomu má Loop speciální okno, kam je potřeba přetáhnout požadovaný blok zpracování.
Modul Regex je velmi důležitý. Umožňuje transformace datových toků na základě regulárních výrazů UNIX a může pomoci odstranit odpadky, nepotřebné značky atd. ze streamu.
Také v této sekci jsou moduly pro rozdělení RSS kanálů a jejich zpětné připojení. K dispozici jsou moduly pro přejmenování prvků a změnu pořadí dat v RSS kanálu a také odstranění duplicitních prvků z RSS kanálu.
Tětiva. Tato část obsahuje moduly, které vám umožňují manipulovat s daty zdroje jako s textovým řetězcem. Modul Překladač například přeloží obsah vybraného prvku do jednoho ze zadaných jazyků. Obvykle se používá v modulu Loop.
Toto jsou hlavní skupiny modulů Yahoo! Trubky, kterých je na úvodní hru se službou docela dost. A skutečně, nejprve si musíte se službou pohrát, abyste pochopili, co je co.
Ahoj Pipes!
Jako příklad vytvoříme malý „potrubí“, které přeloží RSS kanál z jednoho jazyka do druhého. V našem případě převezmeme zpravodajský kanál z webu formula1.com a přeložíme ho do ruštiny.
Jdeme do služby, klikneme na „Vytvořit potrubí“ a otevřeme nové „potrubí“.
V části Zdroje přetáhněte modul Fetch Feed na hlavní panel a zadejte do něj adresu zdroje RSS www.formula1.com/rss/news/latest.rss.
V sekci Operators přetáhněte modul Loop a přetáhněte modul Translate ze sekce String doprostřed tohoto modulu. Ve výsledném hybridu modulů nastavíme pole pro každý a přiřadíme výsledek k hodnotám item.title a v modulu Translate vybereme překlad z angličtiny do ruštiny. Přeložili jsme všechny titulky v našem kanálu.
Nyní přeložíme zprávy ve feedu. Opět provedeme všechny manipulace jako v kroku výše, pouze místo item.title nastavíme item.description.
A teď nejdůležitější moment. Spojujeme naše moduly a modul Pipe Output, který se automaticky zobrazí shora dolů pomocí „potrubí“ v sérii.
Potrubí je připraveno. Uložíme to a následujeme odkaz Run Pipe, kde vidíme výsledky našich instalatérských experimentů. Nechybí ani odkaz na upravený feed, který lze vložit do vlastního blogu ve feedu přátel. I když, abych byl upřímný, strojový překlad není na službách Yahoo! tím nejpůsobivějším.
Také dodám, že to funguje se stažením Yahoo! Trubky v reálném čase. Proto při přetahování modulů nemusí být vždy aktivovány okamžitě; Totéž platí při ukládání „potrubí“ – tento proces může být poměrně dlouhý, více než minutu.
Michail ASTAPCHIK