Vous ne trouvez pas de réponse à votre problème ? Alors posez la question dans le forum. Souvenez-vous qu'il n'y a jamais de question bête, mais rester dans l'ignorance parce que l'on n'ose pas poser une question, ça c'est une erreur !

UN MINI LEXER À PARTIR DE VOTRE ENUMÉRATION


Information sur la source

Catégorie :.NET Source .NET ( DotNet ) Classé sous : lexer, enumération Niveau : Initié Date de création : 23/03/2004 Vu : 5 091

Note :
7 / 10 - par 1 personne
7,00 / 10

  • 1

  • 2

  • 3

  • 4

  • 5

  • 6

  • 7

  • 8

  • 9

  • 10

Commentaire sur cette source (0)
Ajouter un commentaire et/ou une note

Description

cette classe "parse" votre texte pour le rendre sous forme de "TOKEN".
les TOKENs sont représentés par une enumération. à chaque TOKEN est associé un motif, ainsi lorsque qu'un motif est trouvé dans le texte son token est retourné.
 

Source

  • #region Imports
  • using System;
  • using System.Collections;
  • using System.Text.RegularExpressions;
  • #endregion
  • namespace Lexer
  • {
  • /// <summary>
  • /// mini lexer basé sur Regex
  • /// </summary>
  • public class MiniLexer
  • {
  • #region Variables
  • private int FCurPos;
  • private Object FCurToken;
  • private string[] FPatterns;
  • private Regex[] FRegExs;
  • private string FText;
  • private string FTokenString;
  • private Type FType;
  • private ArrayList FValues;
  • #endregion
  • /// <summary>
  • /// constructeur
  • /// </summary>
  • /// <param name="enumType">le type enum utiliser pour les tokens</param>
  • /// <param name="patterns">la liste des partterns, un par enum</param>
  • public MiniLexer(Type enumType, params string[] patterns)
  • {
  • if (enumType == null)
  • throw new ArgumentNullException("enumType", "ce paramètre doit être != null");
  • if (patterns == null)
  • throw new ArgumentNullException("patterns", "ce paramètre doit être != null");
  • if (!enumType.IsEnum)
  • throw new ArgumentException("cet argument doit être un enum", "enumType");
  • if (Enum.GetNames(enumType).Length != patterns.Length)
  • throw new Exception("enumType.Length != patterns.Length !");
  • FType = enumType;
  • FPatterns = patterns;
  • FValues = new ArrayList(Enum.GetValues(FType));
  • int i = 0;
  • //init des patterns
  • FRegExs = new Regex[FPatterns.Length];
  • foreach(string s in FPatterns)
  • {
  • FRegExs[i] = new Regex(s);
  • i++;
  • }
  • }
  • /// <summary>
  • /// provoque la lecture du prochain token
  • /// </summary>
  • /// <returns>retourne la valeur d'un token, null si aucun token ne correspond au texte</returns>
  • public Object NextToken()
  • {
  • int i;
  • int maxlen, index;
  • index = -1;
  • maxlen = -1;
  • for(i = 0; i < FRegExs.Length; i++)
  • {
  • Regex r = FRegExs[i];
  • Match m = r.Match(FText, FCurPos);
  • //recherche du match le plus grand à la position FCurPos
  • if (m.Success && m.Index == FCurPos && m.Length > maxlen)
  • {
  • index = i;
  • maxlen = m.Length;
  • }
  • }
  • if (index != -1)
  • {
  • FTokenString = FText.Substring(FCurPos, maxlen);
  • FCurPos += maxlen;
  • FCurToken = FValues[index];
  • }
  • else
  • FCurToken = null;
  • return FCurToken;
  • }
  • /// <summary>
  • /// retourne la chaîne correspondant au token courant
  • /// </summary>
  • public string TokenString
  • {
  • get
  • {
  • return FTokenString;
  • }
  • }
  • /// <summary>
  • /// retourne le token courant
  • /// </summary>
  • public Object Token
  • {
  • get
  • {
  • return FCurToken;
  • }
  • }
  • /// <summary>
  • /// indique si on est à la fin du texte
  • /// </summary>
  • public bool Eof
  • {
  • get
  • {
  • return FCurPos >= FText.Length;
  • }
  • }
  • /// <summary>
  • /// le Texte à "lexer"
  • /// </summary>
  • public string Text
  • {
  • get
  • {
  • return FText;
  • }
  • set
  • {
  • FText = value;
  • FCurPos = 0;
  • FTokenString = string.Empty;
  • }
  • }
  • }
  • }
#region Imports
using System;
using System.Collections;
using System.Text.RegularExpressions;
#endregion

namespace Lexer
{
	/// <summary>
	/// mini lexer basé sur Regex
	/// </summary>
	public class MiniLexer
	{
		#region Variables
		private int				FCurPos;
		private Object		FCurToken;
		private string[]	FPatterns;
		private Regex[]		FRegExs;
		private string		FText;
		private string		FTokenString;
		private Type			FType;
		private ArrayList	FValues;
		#endregion

		/// <summary>
		/// constructeur 
		/// </summary>
		/// <param name="enumType">le type enum utiliser pour les tokens</param>
		/// <param name="patterns">la liste des partterns, un par enum</param>
		public MiniLexer(Type enumType, params string[] patterns)
		{
			if (enumType == null)
				throw new ArgumentNullException("enumType", "ce paramètre doit être != null");
			if (patterns == null)
				throw new ArgumentNullException("patterns", "ce paramètre doit être != null");
			if (!enumType.IsEnum)
				throw new ArgumentException("cet argument doit être un enum", "enumType");
		
			if (Enum.GetNames(enumType).Length != patterns.Length)
				throw new Exception("enumType.Length != patterns.Length !");

			FType = enumType;
			FPatterns = patterns;
			FValues = new ArrayList(Enum.GetValues(FType));
			int i = 0;
			//init des patterns
			FRegExs = new Regex[FPatterns.Length];
			foreach(string s in FPatterns)
			{
				FRegExs[i] = new Regex(s);
				i++;
			}
		}
		/// <summary>
		/// provoque la lecture du prochain token
		/// </summary>
		/// <returns>retourne la valeur d'un token, null si aucun token ne correspond au texte</returns>
		public Object NextToken()
		{
			int i;
			int maxlen, index;

			index = -1;
			maxlen = -1;
			for(i = 0; i < FRegExs.Length; i++)
			{
				Regex r = FRegExs[i];
				Match m = r.Match(FText, FCurPos);
				//recherche du match le plus grand à la position FCurPos
				if (m.Success && m.Index == FCurPos && m.Length > maxlen)
				{
					index = i;
					maxlen = m.Length;
				}
			}
			if (index != -1)
			{
				FTokenString = FText.Substring(FCurPos, maxlen);
				FCurPos += maxlen;
				FCurToken = FValues[index];
			}
			else
				FCurToken = null;
			return FCurToken;
		}

		/// <summary>
		/// retourne la chaîne correspondant au token courant
		/// </summary>
		public string TokenString
		{
			get
			{
				return FTokenString;
			}
		}

		/// <summary>
		/// retourne le token courant
		/// </summary>
		public Object Token
		{
			get
			{
				return FCurToken;
			}
		}
		
		/// <summary>
		/// indique si on est à la fin du texte
		/// </summary>
		public bool Eof
		{
			get
			{
				return FCurPos >= FText.Length;
			}
		}

		/// <summary>
		/// le Texte à "lexer"
		/// </summary>
		public string Text
		{
			get
			{
				return FText;
			}
			set
			{
				FText = value;
				FCurPos = 0;
				FTokenString = string.Empty;
			}
		}
	}
}

Conclusion

voici une exemple d'utilisation

enum TokenRules {LBRACE, RBRACE, IDENT, STRING, OR, SPACE}
MiniLexer tkRules = new MiniLexer(typeof(TokenRules), "\\(", "\\)", "[A-Za-z]+[A-Za-z0-9_]*" , "'[^']*'", "\\|", " ");
tkRules.Text = "NUMBER '+' EXPRESSION";
while (!tkRules.Eof)
{
    Console.WriteLine(tkRules.NextToken().ToString());
}

un autre exemple

enum Test {NUMBER, SPACE, PLUS, MOINS};
tkRules = new MiniLexer(typeof(Test), "[0-9]+", " ", "\\+", "-");
tkRules.Text = "456 + 89 - 3";
while (!tkRules.Eof)
{
     Console.WriteLine(tkRules.NextToken().ToString());
}



 

Commentaires et avis

Aucun commentaire pour le moment.

Ajouter un commentaire

Discussions en rapport avec ce code source dans le forum

Enumération et action sur une fenêtre windows [ par Laraldie ] Bonsoir, Mon problème est simple mais pas facile à expliquer. En interaction avec une autre application (un gestionnaire de base de données qui récup Enumération [ par thorgal1612 ] Bonjour,J'ai déjà poser cette question mais sans succès, je tente une nouvelle fois...Pour un report fait avec CrytalReport, la propriété "PaperSize" L'enumération en C# [ par LordOfTheShadow ] Hello, tout le monde!!! J'ai trop du mal avec les énumérations alors si quelqu'un peut m'aider...Tout d'abord je travaille sur un UserControl. Je voud


Nos sponsors

Sondage...

CalendriCode

Novembre 2008
LMMJVSD
     12
3456789
10111213141516
17181920212223
24252627282930

Consulter la suite du CalendriCode



Développement réalisé par Nicolas SOREL (Nix) avec l'aide de : Cyril DURAND et Emmanuel BAÏSE, Merci à Vincent pour ses précieux conseils
CodeS-SourceS.com© Toute reproduction même partielle est interdite sauf accord écrit du Webmaster
CodeS-SourceS.com© est une marque déposée tous droits réservés
Temps d'éxécution de la page : 0,312 sec

Google Coop CodeS-SourceS Google Coop CodeS-SourceS


Certaines images présentes sur le site (notament certains avatars) sont issues des collections IconShock, donc si vous souhaitez utiliser ces icons vous devez les acheter, ne les copiez pas et ne utilisez pas dans vos sites et applications sans les avoir commandé.