LES DES MOTS, DES CONCEPTES A PARTIR DES DONNES DU WEB :
Strompedia est un outil d'analyse de donnée massive.
Le FEEDER C# :
1) Donner un mot a analyser
2) Démarrer le feeding : le feeder lancer un requete google sur ce mot, et analyse les pages retourné une par une. Il associe ce mot avec ses mots voisins dans chaqune des pages (à environ 200 caractère de profondeur pour chaque occurence du mot dans la page.) Pour 1 mots, le feeder récupèrer près de 1000 mots associée. En faisant des réquetes massive, on obtient des mots qui reviennent souvent. Ce sont pas des synonymes mais des mots proche l'un de l'autre. D'ou le terme Stormpedia. (Mélange de Wikipedia et BrainStroming)
3) Tout les informations sont stockées en temps réel dans une base de donnée MySql.
4) Vous pouvez consulter les résultats de l'analyse grace au Client web.
5) Pour chaque mots, vous avez les mots les plus frequents trouvé a partir de ce mots (Child words), mais aussi les mots qui ont retourné ce mot dans une page (Mother word).
6) Pour chaque liens de mots, on peut retrouver la URL source et l'emplacement dans la page avec l'onglet Info.
Ce projet necessite EasyPHP et Visual Studio
Le script de création de la base est fournis dans "Creation_BD.sql".
Bien évidament, la base de donnée prend vite du poid... C'est pourquoi ce concept serrai bien applicable dans le cadre du clustering.