PARSER HTML

Commentaire de Bidou le 09/01/2007 19:26:16 administrateur CS

C'est assez dur de faire quelques chose qui tient la route dut à la souplesse de l'HTML bien sûr ;-)
Quelques remarques en vrac après une RAPIDE lecture:

- Dans la classe MainClass, l'url de teste (google) n'est pas valide.
- Pourquoi utiliser sans cesse le nom des classes (System.String, System.Boolean) plutôt que leurs mots clefs associés (string, bool) ?
- La méthode GetHtmlChars de HtmlChars retourne toujours null !?
- Détail: pour les types enum, on met en principe des MAJ
- Le code peut être simplifier à certains endroits, exemple:

if (iChars[pChar] == '"')
{
   bIsInString = !bIsInString;
   iAttributeLength++;
}
else
{
   iAttributeLength++;
}

devient

if (iChars[pChar] == '"') bIsInString = !bIsInString;
iAttributeLength++;

autres exemple avec oStackNode.Add(oNode); (peut-être y'en a encore d'autres)

- Les méthodes GetImageReferences, GetScriptReferences, GetLinkTagReferences et GetAnchorReferences sont très redondantes!
- Debug.WriteLine("VAL: '" + sTagValue + "'"); => Debug.WriteLine("VAL: '{0}'", sTagValue);


Voilà pour un début.
Sinon le code à l'air plutôt structuré...

Commentaire de GG29 le 09/01/2007 21:01:11

A la place de if(a == "") on peut utiliser if(a == String.Empty) ou encore
if(String.IsNullOrEmpty(a)) , ce qui est quand même plus jolie à mon goût.
Autrement ce code peut être pratique dans une appli.

Commentaire de thiosyiasar le 10/01/2007 13:16:35

C'est vrai, mais le probleme c'est que ce composant charge la page et toutes les ressouces images, scripts.... avant d'y donner l'accès (j'ai une appli qui l'utilise). Le temps de traitement donc plus lent et peu adapté à une analyse sur plusieurs pages.

( Je suis en train de remettre à jour avec une démo un peu plus visuelle :) et un code plus propre)

Commentaire de thiosyiasar le 12/02/2007 03:25:03

Salut FremyCompany,

T'as plus d'infos sur le blog ou le projet ?

Commentaire de sorcer1 le 26/03/2007 11:20:08

"le probleme c'est que ce composant charge la page et toutes les ressouces images, scripts...."
c'est pas vrai le composant WebBrowser ne charge pas les images, sauf si on l'utilise comme composant visuel!
ton html parser est vraiment plus leger et plus rapide de le WebBrowser en tout cas, par contre il ne gère les cookies et c'est bien dommage!
bravo quand même!

Commentaire de thiosyiasar le 15/08/2007 10:07:47

Salut Zeroc00l

Merci pour ton commentaire.

Cependant je pense que pour formater ton code html regarde plutot du coté du HtmlTextWriter qui est utilisé par ASP.net pour généré le rendu HTML

Ce code fait le contraire (il n'existe malheureusement pas  de HtmlTextReader...) enfin pas officiellement chez Microsoft

A+

Commentaire de Zeroc00l le 22/08/2007 03:05:45

Oops y'a pas d'attribut "Value" pour les nodes .. je parlais de l'attribut "Tag.Value"
(d'ailleur j'ai mis Tag au pluriel dans tes sources !)

Quand je met l'URL d'un fichier qui n'est pas de l'HTML ça throw dans tous les sens !

Commentaire de brlecler le 13/02/2009 11:09:39

Il y a plus largement, un problème sur les objets (les tags) imbriqués les uns dans les autres. Normalement c'est le genre de problème qui doit se traiter par la récursivité. Mais étant donné que par ailleurs ce code fonctionne bien, voici un correctif qui permet de bien traiter des imbrications du genre:
<div><span><b>BBB</b><strong>SSS</strong>SPSPSP</span>DIDIDI</div>

Dans le fichier HtmlDocument déclarer la classe:

        class TagLie
        {
            public CB_HtmlTag Tag;
            public TagLie Parent;
        }

Dans la méthode HtmlDocument:extracttags

dans le case '<' remplacer :

if (oTags.Count > 0)
oTags[oTags.Count - 1].Value = oValue;

par

TagActif.Tag.Value = oValue;

dans le case '>' , après la ligne oTags.Add(t); ajouter le bloc :

TagLie Nouveau = new TagLie();
Nouveau.Tag = t;
if (t.IsCloseTag)
{
  TagActif = TagActif.Parent;
}
else
{
  Nouveau.Parent = TagActif;
  TagActif = Nouveau;
}

Et ça va fonctionner beaucoup mieux...