data-loader-xyz


Namedata-loader-xyz JSON
Version 0.0.6 PyPI version JSON
download
home_pagehttps://github.com/Proxia-ai/data_loader
Summaryto work with aws S3
upload_time2023-05-16 17:38:10
maintainer
docs_urlNone
authorZied
requires_python>=3.7
licenseBSD
keywords working with aws s3
VCS
bugtrack_url
requirements No requirements were recorded.
Travis-CI No Travis.
coveralls test coverage No coveralls.
            # Version actuelle
version = 1.0.0

# Utilisation
Le projet pourrait etre utile pour:
- Travailler un projet sur un template bien défini (git clone)
- créer un package dans pypi (make all)
- Passer la partie ci dans gitLab (ajouter gitlab_ci.yaml et faite réference au Makefile)

Pour utiliser le template. 

`git clone https://github.com/Proxia-ai/template_vierge.git`

# Prise en main
- Definir les parametre projet dans configs.?.yaml
- Travailler avec /.data pour stoquer les data
- Appeler d'autres asset en se basant sur ce projet, il va vous falloir juste de mettre le nouveau Yaml dans configs
- vous pourriez ajouter d'autre dossier comme par exemple .secrets (selon la nature du projet)

# Contenu du projet
Le template contient deja un exemple:
* le dossier .data (facultatif) : 
  * où on stoke les donnée 
  * la réference à ce dossier est dans configs/config.ini
* le dossier configs :
  * __init__.py : utile pour en faire une librairie interne surtout lors du build (à ne pas toucher)
  * base_config.py: il contient les réference vers les fichiers de configuration d'une maniére génerique ( à toucher avec précaution)
  * config.ini : il contient l'emplacement des dossier et fichier utile pour le projet. Il faut mettre des liens indépendante de l'emplacement machine
  * ?_config.yaml: il contient les parametres du projet. Il ne faut pas toucher à la partie meta-information. Le reste dépond du projet
* docs : Il contient l'ensemble de la documentation qui se génere automatiquement à partir des docs string dans les différents scripts
* ?/src : Il contient le travail çàd le source code du projet
  * __init__.py: à ne pas toucher utile lors du build
* tests/?: Un dossier qui contient l'ensemble des tests unitaires à en faire sur les données qui sont dans .data
* utils : Il contient l'enseble des fonction génerique au projet
  * __init__.py : à ne pas supprimer
* .gitignore : contient l'enseble des dossiers et fichiers à ignorer (à toucher selon le projet)
* .pylintrc : L'ensemble des regles à verifier lors de l'étape lintage du code
* LICENCE : Contient une licence Standard, utile pour pypi
* main.py : Le script de lancement par defaut si pas d'utilisation des source. mettez juste le nom du projet dans la console et il va lancer ce script tout seul
* Makefile : Ensemble d'instruction utile pour la partie Ci
* README.md : documentation pour bien utiliser le projet à lire
* requirements.txt : Il est recommandé d'extraire ce fichier requirements.txt avant un push git
* setup.cfg : fichier utile pour le build
* setup.py: fichier d'installation du projet

# NB:
- Dans cette version il faut placer les dépendances dans setup.py si vous voulez builder un package. Cette partie n'est encore automatique
- pour le build dans pypi, il faut créer un fichier de réferences qui contient les identifiants et les réference d'authentification

# Utilisation en tant que package
exemple:

`pip install -i https://test.pypi.org/simple/ template-vierge==0.0.3.35`

L'upgrade du package de l'autre coté sera comme ça:

`pip install -i https://test.pypi.org/simple/ template-vierge --upgrade --no-cache-dir`

il faut aussi pense à mettre le dossier site-package accessible à tous les users:

`sudo chmod -R ugo+rX /home/zied/PycharmProjects/pythonProject_test/venv/lib/python3.10/site-packages`


            

Raw data

            {
    "_id": null,
    "home_page": "https://github.com/Proxia-ai/data_loader",
    "name": "data-loader-xyz",
    "maintainer": "",
    "docs_url": null,
    "requires_python": ">=3.7",
    "maintainer_email": "",
    "keywords": "working with aws S3",
    "author": "Zied",
    "author_email": "ziedici@gmail.com",
    "download_url": "https://files.pythonhosted.org/packages/04/7d/a27e2112a2a345bab3c133e4c4414d21f27143304e61a3f6df2f802f8645/data_loader_xyz-0.0.6.tar.gz",
    "platform": null,
    "description": "# Version actuelle\nversion = 1.0.0\n\n# Utilisation\nLe projet pourrait etre utile pour:\n- Travailler un projet sur un template bien d\u00e9fini (git clone)\n- cr\u00e9er un package dans pypi (make all)\n- Passer la partie ci dans gitLab (ajouter gitlab_ci.yaml et faite r\u00e9ference au Makefile)\n\nPour utiliser le template. \n\n`git clone https://github.com/Proxia-ai/template_vierge.git`\n\n# Prise en main\n- Definir les parametre projet dans configs.?.yaml\n- Travailler avec /.data pour stoquer les data\n- Appeler d'autres asset en se basant sur ce projet, il va vous falloir juste de mettre le nouveau Yaml dans configs\n- vous pourriez ajouter d'autre dossier comme par exemple .secrets (selon la nature du projet)\n\n# Contenu du projet\nLe template contient deja un exemple:\n* le dossier .data (facultatif) : \n  * o\u00f9 on stoke les donn\u00e9e \n  * la r\u00e9ference \u00e0 ce dossier est dans configs/config.ini\n* le dossier configs :\n  * __init__.py : utile pour en faire une librairie interne surtout lors du build (\u00e0 ne pas toucher)\n  * base_config.py: il contient les r\u00e9ference vers les fichiers de configuration d'une mani\u00e9re g\u00e9nerique ( \u00e0 toucher avec pr\u00e9caution)\n  * config.ini : il contient l'emplacement des dossier et fichier utile pour le projet. Il faut mettre des liens ind\u00e9pendante de l'emplacement machine\n  * ?_config.yaml: il contient les parametres du projet. Il ne faut pas toucher \u00e0 la partie meta-information. Le reste d\u00e9pond du projet\n* docs : Il contient l'ensemble de la documentation qui se g\u00e9nere automatiquement \u00e0 partir des docs string dans les diff\u00e9rents scripts\n* ?/src : Il contient le travail \u00e7\u00e0d le source code du projet\n  * __init__.py: \u00e0 ne pas toucher utile lors du build\n* tests/?: Un dossier qui contient l'ensemble des tests unitaires \u00e0 en faire sur les donn\u00e9es qui sont dans .data\n* utils : Il contient l'enseble des fonction g\u00e9nerique au projet\n  * __init__.py : \u00e0 ne pas supprimer\n* .gitignore : contient l'enseble des dossiers et fichiers \u00e0 ignorer (\u00e0 toucher selon le projet)\n* .pylintrc : L'ensemble des regles \u00e0 verifier lors de l'\u00e9tape lintage du code\n* LICENCE : Contient une licence Standard, utile pour pypi\n* main.py : Le script de lancement par defaut si pas d'utilisation des source. mettez juste le nom du projet dans la console et il va lancer ce script tout seul\n* Makefile : Ensemble d'instruction utile pour la partie Ci\n* README.md : documentation pour bien utiliser le projet \u00e0 lire\n* requirements.txt : Il est recommand\u00e9 d'extraire ce fichier requirements.txt avant un push git\n* setup.cfg : fichier utile pour le build\n* setup.py: fichier d'installation du projet\n\n# NB:\n- Dans cette version il faut placer les d\u00e9pendances dans setup.py si vous voulez builder un package. Cette partie n'est encore automatique\n- pour le build dans pypi, il faut cr\u00e9er un fichier de r\u00e9ferences qui contient les identifiants et les r\u00e9ference d'authentification\n\n# Utilisation en tant que package\nexemple:\n\n`pip install -i https://test.pypi.org/simple/ template-vierge==0.0.3.35`\n\nL'upgrade du package de l'autre cot\u00e9 sera comme \u00e7a:\n\n`pip install -i https://test.pypi.org/simple/ template-vierge --upgrade --no-cache-dir`\n\nil faut aussi pense \u00e0 mettre le dossier site-package accessible \u00e0 tous les users:\n\n`sudo chmod -R ugo+rX /home/zied/PycharmProjects/pythonProject_test/venv/lib/python3.10/site-packages`\n\n",
    "bugtrack_url": null,
    "license": "BSD",
    "summary": "to work with aws S3",
    "version": "0.0.6",
    "project_urls": {
        "Homepage": "https://github.com/Proxia-ai/data_loader",
        "url0": "https://github.com/Proxia-ai/"
    },
    "split_keywords": [
        "working",
        "with",
        "aws",
        "s3"
    ],
    "urls": [
        {
            "comment_text": "",
            "digests": {
                "blake2b_256": "3fdb8e46b09dcae22a7b42086b98db847588904ddb51c3773f212572de82b5a5",
                "md5": "2afb2c4d92c7142c1b58ea95ddbabfd0",
                "sha256": "b245a2fcfa720d7e1de8964f85200bbf8929453690188ef7c01e8fbbaa559e0a"
            },
            "downloads": -1,
            "filename": "data_loader_xyz-0.0.6-py3-none-any.whl",
            "has_sig": false,
            "md5_digest": "2afb2c4d92c7142c1b58ea95ddbabfd0",
            "packagetype": "bdist_wheel",
            "python_version": "py3",
            "requires_python": ">=3.7",
            "size": 7560,
            "upload_time": "2023-05-16T17:38:08",
            "upload_time_iso_8601": "2023-05-16T17:38:08.904412Z",
            "url": "https://files.pythonhosted.org/packages/3f/db/8e46b09dcae22a7b42086b98db847588904ddb51c3773f212572de82b5a5/data_loader_xyz-0.0.6-py3-none-any.whl",
            "yanked": false,
            "yanked_reason": null
        },
        {
            "comment_text": "",
            "digests": {
                "blake2b_256": "047da27e2112a2a345bab3c133e4c4414d21f27143304e61a3f6df2f802f8645",
                "md5": "653f94c7f91c0d2e74beff1a75eedfef",
                "sha256": "e5a9ec6edaaf18b522c7ab86d25210f8e34c07fc47710ba8e54fb309e037bdb9"
            },
            "downloads": -1,
            "filename": "data_loader_xyz-0.0.6.tar.gz",
            "has_sig": false,
            "md5_digest": "653f94c7f91c0d2e74beff1a75eedfef",
            "packagetype": "sdist",
            "python_version": "source",
            "requires_python": ">=3.7",
            "size": 6503,
            "upload_time": "2023-05-16T17:38:10",
            "upload_time_iso_8601": "2023-05-16T17:38:10.758286Z",
            "url": "https://files.pythonhosted.org/packages/04/7d/a27e2112a2a345bab3c133e4c4414d21f27143304e61a3f6df2f802f8645/data_loader_xyz-0.0.6.tar.gz",
            "yanked": false,
            "yanked_reason": null
        }
    ],
    "upload_time": "2023-05-16 17:38:10",
    "github": true,
    "gitlab": false,
    "bitbucket": false,
    "codeberg": false,
    "github_user": "Proxia-ai",
    "github_project": "data_loader",
    "github_not_found": true,
    "lcname": "data-loader-xyz"
}
        
Elapsed time: 0.36002s