# Package NLP
## Informations
> Initié : Février 2023
> Interlocuteurs : Marine CERCLIER, Grégory GAUTHIER, Tangi LE TALLEC, Alan BIGNON (Business & Décision)
> Dans le cadre des projets interne DataScience
## Description
L'objectif de ce projet est d'avoir un package NLP permettant d'effectuer différentes tâches de traitement du langage naturel de manière simple et configurable.
Vous pouvez y retrouver différents dossiers et eléments dont chacun répond à des objectifs précis :
* dossier packagenlp : Les différents scripts Python nécessaires au fonctionnement du projet sont enregistrés dans ce dossier.
* dossier data : les différent fichier csv et images nécéssaires au pacakge
* dossier ressources : on y retrouve la ressources de Treetager pour l'installation automatique
* dossier .streamlit :
* dossier tests :
* fichier requirements.txt : Il contient les packages présents sur l'environnement de travail du développeur et qui sont donc nécessaires au bon fonctionnement du code.
* fichier LICENSE : Spécifie par quelle license juridique est couvert notre projet.
* fichier README.md : C'est le présent fichier. Il constitue la documentation principale du projet, c'est-à-dire celle qui doit être lue en premier par un utilisateur qui veut comprendre de quoi le projet traite.
* setup.py :
* gitlab_ci.yml :
* main.py :
## Présentation de la Class NLP
La class NLP est conçus pour effectuer diverses opérations de traitement du texte. Les principales caratéristiques de cette sont les suivantes :
* cleanStopWord : Nettoie un texte en retirant les StopWord spécifiés pour une langue donnée (français ou anglais). Prmet l'ajout ou la suppresion des StopWord
* cleanText : Nettoie le texte en retirant les accents, en convertissant le texte en minuscules, et en filtrant les caractères non désirés à l'aide d'une expression régulière. Permet de spécifier des exceptions dans les caractères à supprimer et offre la possibilité de conserver les chiffres.
* lemmatisation : Effectue la lemmatisation du texte en utilisant TreeTagger pour les langues française ou anglaise. Permet de conserver les nombres et d'exclure certains types de mots dans le processus de lemmatisation.
## Utilisation de la class analyse (streamlit)
* La classe analyse que nous avons créée est intégrée dans une application Streamlit, facilitant ainsi l'analyse interactive de données en utilisant des techniques de NLP (Natural Language Processing ou Traitement Automatique du Langage Naturel en français). Voici les étapes principales et les fonctionnalités offertes :
* Chargement du fichier CSV : l'utilisateur peut charger un fichier CSV dans l'application. Les données du fichier sont ensuite stockées et prêtes pour l'analyse.
* Application des fonctions de NLP : une fois le fichier CSV chargé, les différentes fonctions de NLP créées précédemment peuvent être appliquées sur les données textuelles présentes dans le fichier.
* Visualisation des informations : après avoir traité les données avec les fonctions de NLP, l'application permet de visualiser des informations pertinentes sous forme graphique. Cela peut inclure des histogrammes, des nuages de mots, des diagrammes de dispersion, etc., facilitant ainsi l'interprétation des résultats.
* Interactivité et personnalisation : L'utilisateur a la possibilité de personnaliser les analyses en choisissant les paramètres des fonctions de NLP à appliquer, ainsi que les types de visualisations à générer.
Afin de lancé l'application, il suffit après import du package, créer un fichier python (.py) en y rajoutant les lignes suivante :
```
from packagenlp.analyse import ClassAnalyse
if __name__ == "__main__":
app = ClassAnalyse()
app.main()
```
Après enregistrement, il suffira d'ouvrir un terminal et ce placer dans l'emplacement de votre fichié et lancé la commande suivante :
`streamlit run "nom_du_fichier.py"`
Raw data
{
"_id": null,
"home_page": "",
"name": "packagenlp",
"maintainer": "",
"docs_url": null,
"requires_python": ">=3.6",
"maintainer_email": "",
"keywords": "NLP,Fran\u00e7ais,Langues,Traitements",
"author": "Business & Decision",
"author_email": "",
"download_url": "https://files.pythonhosted.org/packages/7b/bd/19928f5978507eb1c1b5fe0e39335dba42e9fdeefe5d21bead3f61cdcb45/packagenlp-0.0.53.tar.gz",
"platform": null,
"description": "# Package NLP\n\n## Informations\n\n> Initi\u00e9 : F\u00e9vrier 2023\n\n> Interlocuteurs : Marine CERCLIER, Gr\u00e9gory GAUTHIER, Tangi LE TALLEC, Alan BIGNON (Business & D\u00e9cision)\n\n> Dans le cadre des projets interne DataScience\n\n## Description\n\nL'objectif de ce projet est d'avoir un package NLP permettant d'effectuer diff\u00e9rentes t\u00e2ches de traitement du langage naturel de mani\u00e8re simple et configurable.\nVous pouvez y retrouver diff\u00e9rents dossiers et el\u00e9ments dont chacun r\u00e9pond \u00e0 des objectifs pr\u00e9cis :\n\n* dossier packagenlp : Les diff\u00e9rents scripts Python n\u00e9cessaires au fonctionnement du projet sont enregistr\u00e9s dans ce dossier.\n * dossier data : les diff\u00e9rent fichier csv et images n\u00e9c\u00e9ssaires au pacakge \n * dossier ressources : on y retrouve la ressources de Treetager pour l'installation automatique\n* dossier .streamlit :\n* dossier tests :\n* fichier requirements.txt : Il contient les packages pr\u00e9sents sur l'environnement de travail du d\u00e9veloppeur et qui sont donc n\u00e9cessaires au bon fonctionnement du code.\n* fichier LICENSE : Sp\u00e9cifie par quelle license juridique est couvert notre projet.\n* fichier README.md : C'est le pr\u00e9sent fichier. Il constitue la documentation principale du projet, c'est-\u00e0-dire celle qui doit \u00eatre lue en premier par un utilisateur qui veut comprendre de quoi le projet traite.\n* setup.py :\n* gitlab_ci.yml :\n* main.py :\n\n\n## Pr\u00e9sentation de la Class NLP\n\nLa class NLP est con\u00e7us pour effectuer diverses op\u00e9rations de traitement du texte. Les principales carat\u00e9ristiques de cette sont les suivantes :\n\n* cleanStopWord : Nettoie un texte en retirant les StopWord sp\u00e9cifi\u00e9s pour une langue donn\u00e9e (fran\u00e7ais ou anglais). Prmet l'ajout ou la suppresion des StopWord\n* cleanText : Nettoie le texte en retirant les accents, en convertissant le texte en minuscules, et en filtrant les caract\u00e8res non d\u00e9sir\u00e9s \u00e0 l'aide d'une expression r\u00e9guli\u00e8re. Permet de sp\u00e9cifier des exceptions dans les caract\u00e8res \u00e0 supprimer et offre la possibilit\u00e9 de conserver les chiffres.\n* lemmatisation : Effectue la lemmatisation du texte en utilisant TreeTagger pour les langues fran\u00e7aise ou anglaise. Permet de conserver les nombres et d'exclure certains types de mots dans le processus de lemmatisation.\n\n\n## Utilisation de la class analyse (streamlit)\n\n* La classe analyse que nous avons cr\u00e9\u00e9e est int\u00e9gr\u00e9e dans une application Streamlit, facilitant ainsi l'analyse interactive de donn\u00e9es en utilisant des techniques de NLP (Natural Language Processing ou Traitement Automatique du Langage Naturel en fran\u00e7ais). Voici les \u00e9tapes principales et les fonctionnalit\u00e9s offertes :\n\n* Chargement du fichier CSV : l'utilisateur peut charger un fichier CSV dans l'application. Les donn\u00e9es du fichier sont ensuite stock\u00e9es et pr\u00eates pour l'analyse.\n\n* Application des fonctions de NLP : une fois le fichier CSV charg\u00e9, les diff\u00e9rentes fonctions de NLP cr\u00e9\u00e9es pr\u00e9c\u00e9demment peuvent \u00eatre appliqu\u00e9es sur les donn\u00e9es textuelles pr\u00e9sentes dans le fichier.\n\n* Visualisation des informations : apr\u00e8s avoir trait\u00e9 les donn\u00e9es avec les fonctions de NLP, l'application permet de visualiser des informations pertinentes sous forme graphique. Cela peut inclure des histogrammes, des nuages de mots, des diagrammes de dispersion, etc., facilitant ainsi l'interpr\u00e9tation des r\u00e9sultats.\n\n* Interactivit\u00e9 et personnalisation : L'utilisateur a la possibilit\u00e9 de personnaliser les analyses en choisissant les param\u00e8tres des fonctions de NLP \u00e0 appliquer, ainsi que les types de visualisations \u00e0 g\u00e9n\u00e9rer.\n\nAfin de lanc\u00e9 l'application, il suffit apr\u00e8s import du package, cr\u00e9er un fichier python (.py) en y rajoutant les lignes suivante :\n\n```\nfrom packagenlp.analyse import ClassAnalyse\n\nif __name__ == \"__main__\":\n app = ClassAnalyse()\n app.main()\n```\nApr\u00e8s enregistrement, il suffira d'ouvrir un terminal et ce placer dans l'emplacement de votre fichi\u00e9 et lanc\u00e9 la commande suivante :\n\n`streamlit run \"nom_du_fichier.py\"`\n\n\n",
"bugtrack_url": null,
"license": "",
"summary": "A package for NLP",
"version": "0.0.53",
"project_urls": {
"Download": "https://gitlab.com/business-decision-data-science/packagenlp/-/package_files/82622627/download"
},
"split_keywords": [
"nlp",
"fran\u00e7ais",
"langues",
"traitements"
],
"urls": [
{
"comment_text": "",
"digests": {
"blake2b_256": "7bbd19928f5978507eb1c1b5fe0e39335dba42e9fdeefe5d21bead3f61cdcb45",
"md5": "eabbc6484e52842fe7acb7fead6dd877",
"sha256": "72bfce79832eae21be564cabc41b7062c7d38186e49185e5761f2a6c62be9473"
},
"downloads": -1,
"filename": "packagenlp-0.0.53.tar.gz",
"has_sig": false,
"md5_digest": "eabbc6484e52842fe7acb7fead6dd877",
"packagetype": "sdist",
"python_version": "source",
"requires_python": ">=3.6",
"size": 34381307,
"upload_time": "2024-02-26T14:19:11",
"upload_time_iso_8601": "2024-02-26T14:19:11.257906Z",
"url": "https://files.pythonhosted.org/packages/7b/bd/19928f5978507eb1c1b5fe0e39335dba42e9fdeefe5d21bead3f61cdcb45/packagenlp-0.0.53.tar.gz",
"yanked": false,
"yanked_reason": null
}
],
"upload_time": "2024-02-26 14:19:11",
"github": false,
"gitlab": true,
"bitbucket": false,
"codeberg": false,
"gitlab_user": "business-decision-data-science",
"gitlab_project": "packagenlp",
"lcname": "packagenlp"
}
JSON