Comment Snowflake Stage améliore la préparation des données pour l’analyse dans le cloud
Dans le monde actuel dominé par les données, les organisations recherchent constamment des moyens de gérer et de traiter efficacement d’immenses quantités d’informations. Snowflake, une plateforme d’entreposage de données basée sur le cloud, offre une solution puissante pour préparer et mettre en place les données avant leur traitement. Cet article décrira le Snowflake Stage. Nous expliquerons ses avantages et comment il simplifie le processus d’importation et de gestion des données issues de diverses sources.
Qu’est-ce que Snowflake Stage ?
Snowflake Stage est un composant fondamental de la plateforme d’entreposage de données Snowflake. Il stocke temporairement des données avant de les charger dans des tables Snowflake. Les stages permettent aux utilisateurs de charger et de gérer efficacement des données provenant de sources variées. Ces sources peuvent être des fichiers, des bases de données externes ou des services de stockage cloud tels qu’Amazon S3 ou Azure Blob Storage.
La préparation des données dans Snowflake
Le Snowflake Stage joue un rôle crucial dans le processus de préparation des données. Il offre une méthode flexible et évolutive pour ingérer et préparer les données en vue d’un traitement ultérieur. Avec Snowflake Stage, vous pouvez :
1. Charger des données à partir de diverses sources
Snowflake est une plateforme d’entreposage de données basée sur le cloud qui permet aux utilisateurs de charger des données provenant d’une variété de sources. Cela inclut des fichiers aux formats tels que CSV, JSON et Avro, ce qui facilite l’importation des données issues de différents types de fichiers. De plus, Snowflake peut également se connecter à des bases de données externes, permettant aux utilisateurs d’intégrer aisément des données provenant d’autres systèmes.
Snowflake facilite la connexion avec des services de stockage cloud comme Amazon S3 et Google Cloud Storage. Les utilisateurs peuvent charger directement des données depuis ces plateformes. Cette flexibilité dans les options de chargement des données fait de Snowflake un outil polyvalent pour gérer et analyser des données provenant de multiples sources.
2. Effectuer des transformations de données
Snowflake offre aux utilisateurs la possibilité de manipuler et de transformer les données avant de les charger dans les tables. Ceci peut être réalisé à l’aide de requêtes SQL ou d’autres outils intégrés à la plateforme Snowflake. Snowflake permet aux utilisateurs de modifier les données avant leur enregistrement, ce qui leur permet de nettoyer, d’enrichir et d’organiser les données selon leurs besoins.
Cette flexibilité dans la préparation des données contribue à garantir que celles-ci sont précises, cohérentes et optimisées pour l’établissement de rapports. Snowflake prend en charge différentes techniques de manipulation des données, ce qui facilite la gestion de transformations complexes. Les utilisateurs peuvent formater les données correctement en fonction de leurs exigences spécifiques.
3. Gérer de grands volumes de données
La conception de Snowflake permet de traiter de grandes quantités de données durant le processus de préparation en adaptant ses ressources à la hausse ou à la baisse selon les besoins. Cela signifie que Snowflake peut ajuster sa capacité pour s’adapter à des charges de données variables. Cette flexibilité permet à Snowflake de gérer efficacement les données sans être submergé.
La capacité de Snowflake à s’adapter en fait une option fiable pour la gestion des tâches de traitement des données. Snowflake peut aisément ajuster ses ressources pour traiter les données de manière efficace et précise. Le système ajuste ses ressources au fur et à mesure du chargement des données. Cette évolutivité est cruciale pour les organisations traitant d’immenses volumes de données, car elle leur permet de gérer facilement les pics de charge sans rencontrer de problèmes de performance.
De plus, la conception flexible de Snowflake permet aux organisations d’adapter leurs ressources à leurs besoins. Cela garantit une organisation et une gestion rapides de l’information, tout en facilitant l’obtention d’insights plus rapidement et la prise de décisions plus éclairées.
Aspects de sécurité de la préparation des données dans Snowflake
Lorsqu’il s’agit de préparer des données dans Snowflake, la sécurité est une priorité absolue. Snowflake offre plusieurs fonctionnalités pour garantir la sécurité et l’intégrité de vos données préparées :
- Contrôle d’accès : Snowflake vous permet d’accorder des autorisations spécifiques aux utilisateurs et aux rôles, garantissant que seules les personnes autorisées peuvent accéder aux données préparées et les manipuler.
- Chiffrement : Toutes les données dans Snowflake Stage sont automatiquement chiffrées au repos et en transit, protégeant ainsi les informations sensibles contre tout accès non autorisé.
- Validation des données : Snowflake propose des mécanismes pour valider l’intégrité et la cohérence des données préparées avant leur chargement dans les tables.
Exemple
Ici, nous utilisons le stage par défaut de Snowflake via l’Interface en ligne de commande (CLI). Le stage est destiné à un environnement de test et les fausses données CSV ont été générées aléatoirement sur mockaroo.com. Pour utiliser le stage par défaut de Snowflake pour le fichier MOCK_DATA_1.csv, suivez ces étapes :
Connectez-vous à votre compte Snowflake en utilisant le CLI Snowflake. La sortie devrait ressembler à ceci :
C:\Users\user>snowsql -a xz13yxx.eu-central-1 User: DAN Password:******* * SnowSQL * v1.2.32 Type SQL statements or !help DAN#COMPUTE_WH@(no database).(no schema)>
Créez une nouvelle base de données (si elle n’a pas déjà été créée). Utilisez la base de données :
DAN#COMPUTE_WH@(no database).(no schema)>CREATE DATABASE mock_database; +----------------------------------------------+ | status | |----------------------------------------------| | Database MOCK_DATABASE successfully created. | +----------------------------------------------+ 1 Row(s) produced. Time Elapsed: 1.062s
DAN#COMPUTE_WH@MOCK_DATABASE.PUBLIC>use MOCK_DATABASE; +----------------------------------+ | status | |----------------------------------| | Statement executed successfully. | +----------------------------------+ 1 Row(s) produced. Time Elapsed: 0.156s
Chargez les données dans le stage par défaut (nous ne créons pas de stage nommé ici) :
DAN#COMPUTE_WH@MOCK_DATABASE.PUBLIC>PUT 'file://C:/TmpDataSnowflake/MOCK_DATA_1.csv' @~ AUTO_COMPRESS=TRUE; +-----------------+--------------------+ ... +--------------------+----------+---------+ | source | target | ... | target_compression | status | message | |-----------------+--------------------+ ... +--------------------+----------+---------| | MOCK_DATA_1.csv | MOCK_DATA_1.csv.gz | ... | GZIP | UPLOADED | | +-----------------+--------------------+ ... +--------------------+----------+---------+ 1 Row(s) produced. Time Elapsed: 1.922s
Vérifiez les données préparées :
DAN#COMPUTE_WH@MOCK_DATABASE.PUBLIC>LS @~; +--------------------+-------+...+-------------------------------+ | name | size |...| last_modified | |--------------------+-------+...+-------------------------------| | MOCK_DATA_1.csv.gz | 29456 |...| Fri, 22 Mar 2024 10:49:54 GMT | +--------------------+-------+...+-------------------------------+ 1 Row(s) produced. Time Elapsed: 1.071s
La sortie affichera les fichiers chargés avec succès dans Snowflake. Notez que vous ne pouvez pas utiliser le stage par défaut interne pour une table externe. De plus, si vous souhaitez créer une table pour les données préparées, vous pouvez utiliser soit le CLI avec la commande CREATE ou REPLACE EXTERNAL TABLE mock_table_1, soit créer une table externe dans Snowflake Worksheet. L’utilisation de la feuille de travail basée sur le web est plus pratique pour la création de la table en raison des problèmes de copier-coller dans le client console.
USE DATABASE MOCK_DATABASE; CREATE or REPLACE TABLE mock_table_1 ( id INT, first_name VARCHAR, last_name VARCHAR, email VARCHAR, gender VARCHAR, ip_address VARCHAR, card_num VARCHAR ); CREATE OR REPLACE FILE FORMAT my_csv_format TYPE = 'CSV' FIELD_OPTIONALLY_ENCLOSED_BY = '"' SKIP_HEADER = 1; COPY INTO mock_table_1 FROM @~/MOCK_DATA_1.csv.gz FILE_FORMAT = (FORMAT_NAME = my_csv_format) ON_ERROR = 'CONTINUE';
Exemple
Création d’un Snowflake Stage à l’aide de l’interface web de Snowflake :
- Connectez-vous à votre compte Snowflake via l’interface web.
- Accédez à l’onglet « Bases de données » et sélectionnez ou créez la base de données et le schéma souhaités.
- Cliquez sur l’onglet « Stages » et sélectionnez « Créer ».
- Donnez un nom à votre stage et configurez les paramètres nécessaires, tels que l’intégration de stockage et le format de fichier.
- Cliquez sur « Créer » pour créer le stage.
- Pour charger des données dans le stage, accédez à l’onglet « Stages », sélectionnez votre stage, puis cliquez sur « Charger des données ».
- Spécifiez l’emplacement et le format des fichiers de données, puis cliquez sur « Charger ».
Les données préparées seront disponibles pour un traitement ultérieur et pour être chargées dans les tables Snowflake.
Conclusion
Snowflake Stage facilite la préparation des données pour l’analyse dans le cloud. Snowflake aide les organisations à gérer et traiter de grandes quantités de données provenant de différentes sources de manière sûre et flexible. Grâce à son architecture basée sur le cloud et à sa scalabilité, Snowflake Stage rationalise le processus de préparation des données. Cela permet aux entreprises de prendre des décisions basées sur les données plus rapidement et plus efficacement.
DataSunrise propose des outils exceptionnels et flexibles pour Snowflake, incluant des fonctionnalités de sécurité, des règles d’audit, du masquage et de conformité. Pour en savoir plus sur la manière dont DataSunrise peut améliorer votre expérience avec Snowflake, visitez notre site web et planifiez une démo en ligne.