Fermer

    De quel département êtes-vous ?

    Vos informations générales

    Quel est votre objectif ?

    Quel est le nombre d'utilisateurs
    pour votre projet ?

    A quelle étape vous trouvez-vous actuellement ?

    Quel est le délais de mise en place que vous souhaitez ?

    Précédent

    Déclenchez le signal !
    Nous sommes les héros de Tableau Software, Microsoft Power BI et Alteryx ? Découvrez quelques unes de nos réalisations Let's rock ! Led Zeppelin et le basketball français en statistiques.

    Maîtrisez votre temps !
    Nous travaillons avec les outils Snowflake, Gathering Tools et Alteryx. Découvrez le retour de nos clientsOney Data et Keolis

    Votre futur vous attend !

    Découvrez notre Data Driven Journey et la solution Alteryx.

    Rassemblons vos forces !

    Découvrez notre Data Driven Journey et notre communauté. Renseignez-vous sur nos formation au Data-Universe.

    Drive your insights!

    Découvrez notre Communauté et nos réalisations Let's rock ! Led Zeppelin et la gestion d'une équipe de basketball en statistiques.

    Évoluez à l'infini et au-delà !

    Découvrez notre méthode exclusive : Data Driven Journey. Accédez à notre panel de formations.

     

    Dossier

    Azure Data Catalog
    Facilitez la détection de vos actifs de données

    Rédigé par Benoit Distretti  – Consultant Actinvision

    Azure Data Catalog est un service cloud complètement managé qui permet aux utilisateurs d’avoir accès et de comprendre des données mises à disposition par des collaborateurs. C’est un catalogue de métadonnées qui facilite la détection des actifs de données. Dans un second temps, il permet également de mieux exploiter les données actuelles en les partageant à un plus grand nombre de personnes qui pouvaient ignorer l’existence de ces données aupartavant. Il prend également part dans les RGPD concernant l’entreposage de données d’une entreprise. Avec les nouvelles normes européennes mises en place, Azure Data Catalog se montre comme un outil phare pour entreposer et cartographier ses données au sein de l’organisation.

    Le but du service est de répondre à quelques problématiques sur les sources de données au sein d’une organisation :

    • Le fait qu’un utilisateur peut ne pas avoir conscience de l’existence d’une source de données.
    • L’utilisateur peut ne pas connaitre ni l’emplacement de la source et / ou de la documentation de données. Les deux peuvent se trouver à différents endroits car utilisés par des expériences différentes.
    • Faciliter le lien entre les données et le responsable de ces données.
    • Faciliter l’accès aux données

    Toutes ces questions vont être répondues par Azure Data Catalog pour nous permettre de tirer le meilleur parti des ressources qui sont entre nos mains.

    microsoft-data-catalog-1
    Les différentes étapes permettant une bonne utilisation du service Catalog sont présentées ci-dessus (https://docs.microsoft.com/fr-fr/azure/data-catalog/overview ). Une partie découverte des données dans le catalog selon les besoins, puis la compréhension avec les documentations existantes et si besoin, un contact avec l’expert lié aux données. Une utilisation des données ensuite, pour finir par contribuer au bon référencement et à la bonne contribution pour les autres collaborateurs.

    Cas d’utilisation

    Nous avons aujourd’hui un grand nombre de sources de données, allant des systèmes d’entreprises OLTP aux bases de données décisionnelles. Ces sources augmentent avec l’évolution et les besoins de l’entreprise ainsi que le nombre de clients. Il est de fait difficile pour tous les membres de savoir où rechercher les données parmi les sources communes. Azure Data Catalog permet de répondre à différents cas d’utilisations :

    • Quel système de Ressources Humaines utiliser pour créer ce type de rapport ?
    • A qui demander l’accès au Data Warehouse de ce projet ?
    • Les données de ce projet sont-elles certifiées pour la création d’un dashboard ? Les chiffres sont-ils à jours ?
    • Quelle est la signification de ce champ dans cette table ?
    • Quelle donnée utiliser pour calculer ce KPI ?

    Par le biais de la publication et de la documentation des sources de données, Azure Data Catalog permet de répondre à ces questions.

    Lorsqu’une source de données va être mise à disposition, l’auteur aura différents outils pour permettre aux collaborateurs futurs, de comprendre les données. Une étiquette permettant un référencement et une recherche plus facile et une description pour les explications rapides avant utilisation. De plus, l’onglet Expert permet de rentrer le nom des personnes à contacter en cas de question sur cette source.

    Il y a également un onglet « Documentation » qui est lui présent pour des explications plus détaillées sur la source de données comme le descriptif des tables, un possible modèle de données de la base, … Toute information qui sera jugée importante par l’auteur.

    L’annotation de ces sources n’est pas l’affaire que de l’auteur. Une fois que les données ont été exploitées par n’importe quel utilisateur, il peut venir ajouter sa pierre à l’édifice pour les prochains, et ajouter ses remarques et documentations avec l’expérience qu’il a eu.

    Comment fonctionne Azure Data Catalog ?

    Il existe 2 modes dans Azure Data Catalog , le mode « connecté » et le mode « manuel » :

    En mode « Connecté » : L’application se connecte à la source de données pour récupérer automatiquement les métadonnées des objets

    En mode « manuel « : Dans l’interface web du service Azure Data Catalog, il est possible de « Créer une entrée manuelle ». Les objets (Serveur, Tables, champs …) que l’on souhaite enregistrer doivent être renseignés à la main, pas de connexion à la source de données pour récupérer les métadonnées.

    Comment utiliser Azure Data Catalog ?

    On souhaite inscrire un exemple de base de données de SQL Server dans un catalog déjà existant. Après avoir souscrit au service Azure Data Catalog dans Azure, on va sur la page d’accueil d’Azure Data Catalog (http://azuredatacatalog.com/ ) qui nous propose de Publier des données.

    microsoft-data-catalog-2

    Une fois la connexion effectuée, on peut cliquer sur lancer l’application pour exécuter l’outil qui va nous permettre de nous connecter aux données.

    microsoft-data-catalog-3

    On accède ensuite à la liste des connecteurs disponibles.

    microsoft-data-catalog-4

    Dans cet exemple nous sélectionnons le connecteur « SQL Server » en haut à gauche de la liste. On arrive sur la page ci-dessous.

    microsoft-data-catalog-5

    • On enregistre les informations nécessaires :
    • Le nom du serveur où est située la base / table souhaitée
    • Le type d’authentification ainsi que les informations de connexion nécessaires
    • La base de données souhaitée

    Puis cliquer sur « se connecter »

    On va ensuite choisir les objets extraits de cette base qui seront inscrites.

    Le menu de droite présente la hiérarchie du serveur avec les bases de données disponibles.

    microsoft-data-catalog-6

    Pour l’exemple nous choisissons « Accident_prod ». Les différentes tables présentes dans la base s’affichent dans l’affichage central. L’utilisateur va ici choisir les différents éléments dans la table qu’il souhaite référencer (autant d’éléments qu’il souhaite), et compléter les informations supplémentaires telles que l’expert et les étiquettes. Ces informations-là sont modifiables par la suite si on ne souhaite pas les renseigner immédiatement.

    microsoft-data-catalog-7

    La page suivante référence les objets dans le catalogue et fait un résumé de ce qui a été inscrit. Lorsqu’on revient sur le portail Azure, on voit bien que nos tables de dimensions ont été inscrites dans le catalogue. Toutes les personnes de l’organisation ayant été ajoutées au catalog existant peuvent voir les données. Cependant pour en inscrire d’avantages, les annoter ou en prendre possession, il faut que l’utilisateur aient les droits requis par l’administrateur du catalog.

    Atelier Power BI
    2 décembre 2021
    9h00 – 17h00

    Participez gratuitement à un atelier pratique d’une demi-journée destiné à vous faire découvrir l’intégration de données au travers de la solution Talend Open Studio.

    Atelier Microsoft Power Bi Dahsboard