Automates Arabes: bibliographie
Bibliographie des travaux des membres de l'équipe
Il s’agit d’une liste non exhaustive des principaux travaux de l’équipe depuis 1986. La plupart des titres qui figurent ci-dessous sont suivis d’un résumé, ce qui permet de suivre la logique du développement.
I) Ouvrages
Jaccarini A., Approche algorithmique de la grammaire arabe, (300 pages), sous presse à l’IFAO,
Cet ouvrage constitue la synthèse d’un travail de recherche en linguistique informatique arabe. Il s’agit d’une théorisation de l’approche sans lexique et de la minimalité. Les éléments fondamentaux d’une théorie du moniteur syntaxique s’y trouve également exposés. Les principes de génération de grammaires à partir de modèles linguistiques de base sont illustrés par de nombreux exemples.
Lire l'introduction et plan de l'ouvrage
Jaccarini A., Modélisation linguistique et théorie des automates. Méthode de la détermination de l’algorithme optimum par variation de la grammaire. Application à l’arabe, (250 pages) à paraître à l'IFAO .
Les calculs de transformation de grammaires (régulières ou augmentées) peuvent être effectuées dans des structures algébriques où il est également possible de déduire - à partir de simples règles de calcul - le principe des différents types d’analyseurs optimisés nécessaires à la mise en œuvre informatiques de ces grammaires. Une méthode analytique de recherche d’algorithmes optimisés de décodage y est développée. Nos recherches de stratégie d’analyse (théorie du moniteur) s’inscriront dans le cadre général de cette méthode. Dans la deuxième partie nous montrons qu’il est possible de déduire directement, à partir de l’explicitation de certaines propriétés d’invariance du système morphologique arabe, les automates minimaux d’acceptation. Dans la dernière partie se trouve exposée les principes de construction d’un système de gestion et de manipulation des grammaires (l’atelier de grammaires). À un stade ultérieur une généralisation du cadre algébrique permettra de fonder théoriquement ce cadre expérimental de travail et d’envisager une extension du système en vue d’obtenir un générateur automatique d’applications linguistiques (voir ci-dessous réf. et 6).
Gaubert C., Stratégies et règles minimales pour un taitement automatique de l'arabe. (300 pages), sous presse à l'IFAO.
La théorie de la minimalité dans le traitement automatique de l'arabe développée depuis 1985 par C.Audebert et A.Jaccarini est exposée dans ses grands principes: analyse morphologique sans lexique, formalisme des automates augmentés, variation des grammaires. Un logiciel original écrit en langage C, Sarfiyya, a été créé pour illustrer et poursuivre ce travail et le confronter à la réalité de larges corpus de textes informatisés de presse et de littérature. Un système original d'étiquettes floues de portée syntaxique, un éditeur graphique et interactif d'automates et de nombreuses fonctionnalités de recherche ont permis la mise au point de grammaires nominales et verbales avec peu de lexique au comportement ambigu connu. Un analyseur original de mots-outils ou tokens complète ces outils. L'étude faisabilité d'un traitement syntaxique minimal conclue cette analyse. Cet ensemble démontre la fécondité de la méthode minimale et sa validité pour diverses applications tout en soulignant ses limites.
II) Articles
Jaccarini A., « Vers une théorie du moniteur syntaxique, Annales Islamologiques, 1999, n°33, pp 75-103.
Dans cet article de synthèse sont presentés les principaux travaux qui ont été menés, depuis l’origine (AnIsl_022_art_10.pdf) jusqu’en 1999. L’accent y est mis notamment sur le parallélisme cognitivo-algoritmique. On y trouvera exposés la logique générale de notre démarche, l’historique qui éclaire aussi bien notre travail dans le domaine de l’algorithmique que nos perspectives d’ouverture sur la pycholinguistique. Nous y établissons enfin la conformité de notre travail aux deux principes de minimalité et de réalisme linguistique. Grâce à une annexe consistante, aucun pré-requis n’est nécessaire pour saisir l’essentiel de notre argumentation lorsque nous abordons l’aspect algorithmique.
Jaccarini A., « Quelques opérations sur les langages associés aux opérateurs syntaxiques », Annales Islamologiques, 2000, n° 34.
A chaque atome morphologique (entité graphique non décomposable) est associé un opérateur syntaxique induisant un sous-langage descriptible par des grammaires augmentées modifiables. Ces dernières peuvent ainsi être transformées en transducteurs finis dont le niveau d’indéterminisme est le moins élevé possible. Elles seront ainsi susceptibles d’être intégrés ensuite dans un moniteur syntaxique - dont la tâche essentielle est d’exploiter les données contextuelles de la forme étudiée, afin de réduire l’ambiguïté de l’analyse morphologique. Dans cet article nous fournissons des exemples concrets des transformations de certains langages que l’on peut associer à des opérateurs de haut niveau. Des schémas de grammaires très simplifiées et déterministes du groupe nominal (déterminé et non déterminé), obtenus par le calcul à partir d’une description initiale plus naturelle, sont également présentés.
Jaccarini A., « Principes de construction d’un moniteur syntaxique », Actes de la journée du traitement automatique de l’arabe - ATALA du 28 février 1998, Institut d’arabisation de Rabat.
1. Nous exposons dans cet article les idées de base qui nous ont amené à concevoir un moniteur morpho-syntaxique susceptible d’optimiser un analyseur morphologique opérant sans lexique. Nous rappelons les problèmes de cercles vicieux (ou deadlock = impasses, c’est à dire les chassés- croisés non résolubles entre syntaxe et morphologie) qui peuvent se poser lors de la modélisation des transducteurs et les solutions que nous proposons. 2. Mais l’intérêt principal de cet article n’est pas tant l’exposé de ces questions qui ont été traitées en détail dans " Grammaires modulaires de l’arabe " - regroupées ici en un texte synthétique - que l’explicitation du lien devant exister entre le principe d’invariance, qui fonde notre approche sans lexique, et toute théorie du moniteur que l’on se propose de construire.
Jaccarini A., « Pour une métrologie des grammaires », Actes du Congrès international de traitement automatique de l'arabe, Université de Manouba (Tunis), 2002.
Après avoir rappelé la possibilité d’une complémentarité méthodologique entre notre approche sans lexique et celles s’appuyant, au contraire, sur la construction de dictionnaires informatisés (par exemple le projet DIINAR-MBC) nous montrons, qu’à partir d’une réflexion sur notre travail expérimental d’évaluation des grammaires et d’optimisation, nous sommes amené naturellement à nous poser le problème de l’existence et de la construction d’un espace abstrait de grammaires muni d’une distance. Nous montrons également que cette structure fournirait alors un cadre théorique adéquat au générateur d’applications linguistiques ainsi qu’à celle du moniteur, considéré sous son simple aspect combinatoire (stratégies de parsing = décodage non humain)
Jaccarini A., « Un éditeur structurel modifiable de grammaire pour le traitement de l'arabe », Actes de ACL/EACL 2001 Workshop.
L’éditeur structurel permet de définir - à partir de langages de spécification simples - des grammaires augmentées et de synthétiser les transducteurs associés (donc les tables représentant les transitions conditionnelles ainsi que celle des lambda-expressions correspondant aux actions). L’éditeur est lui même défini comme un transducteur (déterministe) d’où la possibilité de le redéfinir au moyen d’un langage qu’il pourra lui même traiter. On a ainsi la possibilité théorique d’améliorer indéfiniment ses performances. Ces redéfinitions permettront d’affiner ou de complexifier l’éditeur, en fonction des besoins nouveaux qui ne manqueront pas d’apparaître lors de la mise au point de la méthode d’évaluation des grammaires. Il est important de noter que le cadre expérimental de notre travail - fondé sur la méthode de variation des grammaires - nous imposait de définir un éditeur noyau à partir duquel pourront être synthétiseé de nouvelles versions, plutôt que de concevoir un éditeur figé. Nous travaillons en ce moment à l’enrichissement de cet éditeur en sorte qu’il puisse, après avoir accepté la spécification d’un transducteur déterministe, engendrer directement sa traduction en code Lisp. Nous envisageons ensuite le couplage de cet éditeur avec le module Visigram développé par Christian Gaubert, lequel permet une visualisation des grammaires sous forme de graphes de transition et permet leur modification sous mode graphique.
Jaccarini A., Gaubert C., « Un logiciel pour la mise au point de grammaires pour le filtrage d’information en arabe » ;10ème conférence TALN du 11 au 14 juin 03, Batz-sur-Mer.
Dans ce texte, on démontre tout d’abord la possibilité de synthétiser, à partir d’opérateurs de base, des fonctionnalités linguistiques nouvelles. L’exemple particulier qui y est traité est celui de la construction d’un opéracteur d’extraction de « discours rapportés » et de son amélioration progressive à partir de l’analyse systématique des bruits et silences. La mise au point de programmes d’extraction et de filtrage est rendue possible grâce aux ressources linguistiques contenues dans le système Sarfiya (sous forme d’automates) et les multiples fonctionnalités qu’offre ce système pour leurs manipulations et transformations. Ce système ne se limite donc pas, malgré son nom (conservé pour des raisons historiques), à la simple analyse morphologique. Ce système contient un ensemble d’éléments essentiels à tout noyau de processeur généralisé d’automates. L’évolution du projet est inspirée par la perspective de la création d’un système d’aide à la construction d’applications linguitiques et d’un outil de recherche de stratégies.
Audebert C., Jaccarini A., « À la recherche du Ḫabar », Annales Islamologiques, 1986, n° 22, IFAO, pp 217-256.
Dans cet article fondateur, les principales difficultés de décodage d'un texte arabe standard non diacritisé, ainsi que celles relatives à l'accès au dictionnaire, sont analysées. L'accès au dictionnaire suppose une analyse morphologique dont l'ambiguïté (il en existe de différentes sortes et degrés) ne doit brouiller la détermination de la racine. Cet article peut être considéré comme une réflexion sur le paradoxe fondamental de l'apprentissage classique de l'arabe par des apprenants de cette langue (niveau : 200 à 250 heures) : être capable d'analyser correctement et sans ambiguïté (l'un n'entraînant pas l'autre) une forme qu'ils ignorent pour accéder au dictionnaire. L’hypothèse émise dans cet article est que la stratégie consistant à avancer dans le texte – en recourant le moins possible au dictionnaire – est la plus efficace, à condition de savoir repérer les éléments les plus contraignants (les tokens). L’expression de ces contraintes sous forme d’automates s’imbriquant les uns dans les autres découle de l’hypothèse de l’existence d’un processeur abstrait et optimal de décodage. Celui-ci ne peut être atteint que par approximations successives.
Audebert C., Jaccarini A., « De la reconnaissance des mots-outil et des tokens », Annales Islamologiques, 1988, n° 24, IFAO, pp 269-293.
Les tokens constituent les atomes morphologiques, c'est-à-dire qu'ils ne dérivent pas d'un racine et ne possèdent pas de schème. Ils sont figés. Il n'en demeure pas moins que certains d'entre eux peuvent se concaténer à d'autres éléments non lexicaux: des prépositions, des coodonnants, des pronoms affixes, etc. qui ne peuvent jamais figurer entre deux blancs. Un pré-traitement de segmetation est donc nécessire. DAnc cette article, on trouvera également la description d'autres fragments d'automates qui ont trait aussi bien à la morphologie nominale que verbale.
Audebert C., Jaccarini A., « Méthode de variation de grammaire et algorithme morphologique », Bulletin d’Études Orientales XLVI (1994), IFEAD, p. 77-97.
L’un des principaux intérêts de cet article est : de donner une spécification de l’étude pionnière et consistante de David Cohen (effectuée en 1960, mais publiée dix ans plus tard dans « Études de linguistique sémitique et arabe » , Mouton 1970. cf. Chapitre intitulé : « Vers un traitement automatique de l’arabe » ) par un automate fini, non déterministe, de complexité minimale ne comportant que 6 états ! Cette concision dans la description linguistique est remarquable et justifie, à elle seule, le recours au formalisme des automates dans la mesure où l’on admet le principe selon lequel « toute économie d’écriture reflète un approfondissement conceptuel », qui est à la base de tout système « axiomatique » ; la mise en œuvre est également intéressante grâce à l’analyseur Lisp pour automate non déterministe, que nous avons mis au point ; cet analyseur opère en un temps directement proportionnel à la longueur des chaînes analysées (une description détaillée de ce « parser », spécifié par des équations algébriques, est donnée dans l’ouvrage « Modélisation linguistique et théorie des automates», susmentionné (réf.2) ; Une deuxième grammaire « moins fruste » (30 états) est proposée dans la deuxième partie de l’article ; les comparaisons systématiques des « configurations » prises par la mise en œuvre des deux automates est faite en annexe ; cette étude est donc une introduction à la « méthode de la détermination de l’algorithme optimal par variation de grammaire » (cf. réf 2)
Gaubert C., « Analyse morphologique d’un texte par ordinateur – Résultats et évaluation », AnIsl 29 (1996), IFAO, p. 283-311
Un parser implémenté en C opérant à partir d’un automate à états finis reflétant plusieurs phénomènes non réguliers de la morphologie est testé sur un texte arabe. L’automate décrit dans l'article ref. 12 est repris et affiné; la méthode de dépouillement des bruits et des silences est développée qui s'apuie sur la linéarité des réponses de l'analyseur face à certaines variations de l'automate.
Audebert C., « Syntactic Parser and Deterministic Strategy : A Parallel with Human Decoding Process », Proceeding of 2nd Conference on Arabic Computational Linguistic, Kuwait, p. 352-365
Afin de se faire une meilleure idée de la pertinence de l’hypothèse selon laquelle l’exploration descendante et globale de la phrase, en première étape, est plus fructueuse qu’un décodage mot à mot, on étudie plusieurs spectres de phrases où ne sont conservés que les mots outils. Ces mots outils induisent des attentes que l’on précise. On essaie de repérer les occurrences les plus informatives quant à la structure syntaxique de la phrase.
Jaccarini A., « Automatic generation of unvocalized arabic recognition programs : theory and applications », Koweit 1989 Proceeding of 3rd Conference on Arabic Computational Linguistic, Kuwait, p. 66-87 ;
Exposé du principe d’un analyseur fonctionnant à partir d’une définition de la morphologie arabe sous la forme d’une grammaire de Kleene, dont le vocabulaire de base est uiquement constitué de graphèmes principaux de l’écriture arabe (ce qui rend superflu le recours à un lexique) . Un « segmentateur » de mots graphiques (réduction de toutes les formes linguistiques à des léxèmes) a été implémenté en LISP.
II) Publications directement liés à ce programme
Audebert C., Gaubert C., Jaccarini A., « Minimal Ressources for Arabic Parsing : an Interactive Method for the construction of Evolutive Automata ».
http://www.elda.org/medar-conference/pdf/37.pdf ; 2009.
Nous présentons des scenarii mettant en évidence la construction interactive d’opérateurs. La méthode de rétroaction (feedback) en vue de l’amélioration de la grammaire est illustrée par quelques exemples : un noyau de grammaires pour retrouver les citations et les « discours rapportés » dans un texte, ainsi qu’une grammaire reflétant un opérateur syntaxique courant induisant des « jugements ». Nous rappelons aussi la réalisation de certains parsers morphologiques obtenus par cette méthode. Ces grammaires sont conçues comme des automates à états finis (qui seront par la suite transformés en transducteurs, voir ref.2) ; certaines sont rendues déterministes en vue d’en augmenter les performances (en ce qui concerne le temps d’exécution). Nous avons utilisé pour cela le logiciel expérimental « Sarfiyya » qui peut être considéré comme le noyau d’un processeur généralisé d’automates arabes (cf. rapport ci-joint). Cet article a pour objectif d’attirer l’attention sur l’efficacité et l’« effectivité » (au sens des logiciens) de notre approche purement algorithmique (cf. plus haut le rapport), et qui peut nous dispenser, sans faire augmenter exagérément l’ambiguïté, de recourir à un lexique, ….. etc (voir rapport). Cette possibilité est une spécificité de la langue arabe (voir des langues sémitique en général) due au très haut niveau de grammaticalisation. Ce travail intéresse aussi bien le linguiste à la recherche du meilleur équilibre entre grammaire et lexique que le spécialiste en science cognitive (dualité entre programmes et données). Au niveau pratique, le but est d’établir une méthodologie pour la création d’opérateurs de recherche tous azimut. Nous joignons à ce résumé la présentation (slides) qui mettent en évidence les points essentiels de notre démonstration.
André Jaccarini, Christian Gaubert, Claude Audebert. « Structures and Procedures in Arabic Language ». (Malta, LREC 2010)
In order to demonstrate the efficiency of the feedback method for the construction of finite machines (automata and transductors) applied to the arabic language and to exhibit the algebraic caracterisation of this language through mathematical theory of Schutzenberger school, we have chosen applications which are linked to many domains : morphological analysis (with or without lexicon), syntactic analysis, construction of operators for I.R. and noise filtering.
A data bank of finite machines can only be efficient if integrated in a computational environment allowing the extraction of these operators (which are fragments, pieces of operational grammars) which are to be combined in order to synthesise new operators, according to the needs.
We have developed a software called Sarfeyya for the manipulation of arabic automata.
We constructed an extractor of quotations and reported discourse. The evaluation of this automaton will be available online. Sarfeyya was entirely written in Java, which allowed the creation of a Web based application called Kawâkib, offering among other functions, root extraction and tool word detection.
We are now heading towards content analysis and text caracterisation.
Audebert C., « Quelques réflexions sur la fréquence et la distribution des mots outils ou tokens dans les textes arabes en vue de leur caractérisation dans le le domaine l’extraction d’information ». AnIsl 43
Cet article porte essentiellement sur les « tokens discursifs » que l’on se propose de modéliser par la suite dans le cadre de la théorie des automates. Les tokens tel que nous les avons défini : formes figées échapant au système de dérivation général de l’arabe et induisant des attentes- ou contraintes- syntaxiques plus élevéees que la plupart des autres lexèmes (leur classe de congruence syntaxique sont plus réduites) sont également révélateurs, si l’on considère leur combinaison avec d’autre tokens ou même avec certains autres lexèmes, de la nature sémantique des textes; ces suites d’éléments non forcément continues et que l’on peut aisément repérer grâce aux fonctionnalités de Kawâkib Pro (voir 19) sont fortes intéressantes à exploiter dans une optique de recherche d’informations et de caractérisation de texte. Ils sont qualifiés de tokens discursifs dans la mesure où ils nous renseignent sur la nature des relations discursives contenues dans le texte indépendamment du contenu à proprement parler (les thèmes) lesquels sont plutôt révélés par la fréqence des lexèmes ou racines. Ce travail constitue une amorce de la boucle de rétroaction existant entre les candidats discriminatifs et le choix des textes ; elle est le résultat de réflexions entamées il y a longtemps et prend appui sur des explorations d’une multitude de textes. Seuls sont considérés ici deux textes journalistiques (Al-Ahram) pour illustrer le propos.
Gaubert C., « Kawâkib, une application web pour le traitement automatique de textes arabes ». Anisl 43, 2010
L’application Web Kawâkib a été créée à partir du code Java de Sarfiyya. Elle comporte donc nombre de fonctions de Sarfiyya dans un environnement internet qui permet son déploiement instantanné et le développement du travail d'équipe sur un corpus commun. Cet article présente les fonctions de Kawâkib , qui comporte une recherche de racines fréquentes, des fonctions de détection de tokens et d'expressions fondées sur des tokens, ainsi que la possibilité de synthèse d'automates de recherche par expressions régulières. Les grammaires développées avec Sarfiyya peuvent être installées dans Kawâkib et testées sur le corpus, lequel peut être enrichi en ligne.
André Jaccarini. « De l’intérêt de représenter la grammaire de l’arabe sous la forme d’une structure de machines finies ». AnIsl 43, 2010
Cette étude est à la fois un développement théorique de l’article présenté à Malte au congrès « LREC 2010, (18) » , un bilan critique de notre travail dans le domaine du traitement automatique de l’arabe entrepris dès les années 1980 et une présentation d’un programme d’études linguistique arabe sur le court, moyen et long terme. Nous nous situons d’emblée dans le cadre de la théorie des « machines abstraites ». Les automates et les transducteurs, auxquels nous avons recours pour décrire la langue arabe, sans la donnée d’un lexique défini a priori, constituent une variété importante de ces machines, équivalentes aux machines de Turing. L’une des idées importantes est que les caractéristiques structurales de l’arabe sont aussi des caractéristiques algorithmiques (et vice versa). Cette dualité est aisément traduisible dans le cadre de la théorie algébrique des automates et offre des perspectives applicatives fort intéressantes. L’unification théorique, opérée grâce à cette théorie, nous semble aujourd’hui indispensable pour établir solidement les Études arabes dans l’univers des connaissances qui est aujourd’hui le nôtre, à savoir celui que nous n’hésitons plus à désigner comme « la civilisation de Turing ». Nous nous inscrivons ainsi dans une double tradition française : d’une part la tradition algébrique en informatique, initiée par M.P Schutzenberger et qui est connue aujourd’hui sous le nom prestigieux - en informatique théorique- de « french school » et celle tout simplement du traitement de l’arabe par informatique qui, ne l’oublions tout de même pas, a été initié par David Cohen et ses amis de l’Institut Blaise Pascal, fondé au début des années 1960.
La puissance du calcul de l’algèbre relationnelle, imaginée par Codd (1970, IBM, San José), équivalent au calcul des prédicats du premier ordre, que l’on peut d’ailleurs considérablement renforcer en lui adjoignant un opérateur de point fixe offre une puissance considérable de calcul sur des « données » (des fragments de grammaires associés à certains éléments que nous avons privilégié : les tokens, voir ci-desous note 22, ainsi que lexique) auxquelles on peut aussi associer des programmes : les automates et les transducteurs de l’arabe. Idéalement, cette banque pouvant évoluer vers une sorte de « fabrique mathématique » d’automates arabes permettant à l’utilisateur de synthétiser des opérateurs linguistiques adaptés à ses besoins (il s’agit de perspectives, d’un horizon).
Pour l’instant la réactualisation du logiciel Sarfiyya (voir ci-joint la présentation de Kawâkib Pro) permet à l’équipe de prouver l’efficacité du traitement de l’arabe par automate. On trouvera dans le site, associé à l’article, une évaluation d’un « extracteur de citations en arabe ». Les résultats sont fort encourageants. Nous espérons dans un proche avenir être en mesure d’établir sérieusement des protocoles de comparaison avec d’autres expériences pour pouvoir avancer scientifiquement dans le domaine de l’évaluation ; ce qui suppose un minimum de coopération.
1. Présentation du cadre théorique de l’étude. p 2
2. Une première justification de l’utilisation des automates. p 5
3. « Algorithmicité » et forte « grammaticalité » : une spécificité de la langue arabe ? p 6
4. L’hypothèse d’un processeur abstrait et idéal de décodage : la méthode descendante dite « top-down ». p 9
5. Méthode de construction de grammaires par agrégation de fragments. p 13
6. Nécessité d’une approche plus mathématisée de la grammaire arabe. p 15
7 . Le théorème de l’énumération universelle. p 16
8. Pourquoi avoir privilégier la théorie des automates pour la représentation de l’arabe? p 20
9. L’étude de David Cohen et la théorie des automates. p 25
10. La transparence des analyseurs, ses conséquences. p 27
10.1 La comparaison des grammaires. p 27
10.2 La classification des formes arabes selon leur niveau de complexité. p 30
10.3 Le parallèlisme cognitivo-algorithmique. p 31
10.4 La spécification mathématique de l’analyseur. p 31
11. Le transfert entre structures et procédures (langue arabe <--> automates). p 33
12. Vocalisation automatique et transduction. p 35
13. Le Retour aux tokens : de la syntaxe à la sémantique. p 37
14. L’algorithmique associée à la fouille textuelle : un renversement de paradigme.
15. Conclusion: un programme de recherche à court, moyen et long terme. Perpectives.
Audebert C., Gaubert C., Jaccarini A., « A Flexible Software Geared Towards Arabic Texts I.R And Evaluation : Kawâkib », ALTIC 2011, (Alexandria, Egypt), à paraître dans ALTIC 2011
(publié en ligne prochainement sur http://www.altec-center.org/conference/)
Le langage de commande du logiciel évolutif Kawâkib, qui réalise des opérations sur les opérateurs linguistiques contenus dans ce logiciel, évoluera pour devenir un véritable langage de programmation linguistique. SYGAL (Système de Génération d'Applications Linguistique).
Audebert C., Gaubert C., Jaccarini A., « Arabic Information Retrieval : How to Get Good Results at a Lower Cost ? » 2011, Proceedings of the ESOLEC ‘2011 conference, Ayn Shams, Cairo.
Nous exhibons 4 nouveaux critères obtenus par la méthode du feedback linguistiques. Ces critères de sélection sont très discriminatifs et obtenus à moindre coût.