Homepage
Centro di Conoscenza
Come Snowflake Stage Migliora lo Staging dei Dati per l’Analisi nel Cloud

Come Snowflake Stage Migliora lo Staging dei Dati per l’Analisi nel Cloud

Nel mondo odierno guidato dai dati, le organizzazioni sono costantemente alla ricerca di modi per gestire e processare in modo efficiente ingenti quantità di informazioni. Snowflake, una piattaforma di data warehousing basata sul Cloud, offre una soluzione potente per lo staging e la preparazione dei dati per l’elaborazione. Questo articolo descriverà Snowflake Stage. Spiegheremo i suoi vantaggi e come semplifica il processo di importazione e gestione dei dati provenienti da diverse fonti.

Che Cos’è Snowflake Stage?

Snowflake Stage è un componente fondamentale della piattaforma di data warehousing di Snowflake. Esso detiene temporaneamente i dati prima di caricarli nelle tabelle di Snowflake. Gli stage consentono agli utenti di caricare e gestire in modo efficiente i dati provenienti da fonti diverse. Le fonti possono essere file, database esterni o servizi di cloud storage come Amazon S3 o Azure Blob Storage.

Staging dei Dati in Snowflake

Snowflake Stage svolge un ruolo cruciale nel processo di staging dei dati. Esso offre un metodo flessibile e scalabile per acquisire e preparare i dati per ulteriori elaborazioni. Con Snowflake Stage, Lei può:

1. Caricare dati da varie fonti

Snowflake è una piattaforma di data warehousing basata sul Cloud che consente agli utenti di caricare dati da una varietà di fonti. Ciò include file in formati quali CSV, JSON e Avro, rendendo semplice l’acquisizione dei dati da differenti tipi di file. Inoltre, Snowflake può anche collegarsi a database esterni, permettendo agli utenti di prelevare dati da altri sistemi in maniera fluida.

Snowflake semplifica la connessione con servizi di cloud storage come Amazon S3 e Google Cloud Storage. Gli utenti possono caricare direttamente i dati da queste piattaforme. Questa flessibilità nelle opzioni di caricamento rende Snowflake uno strumento versatile per gestire e analizzare dati provenienti da molteplici fonti.

2. Eseguire trasformazioni sui dati

Snowflake offre agli utenti la possibilità di manipolare e trasformare i dati prima del loro caricamento nelle tabelle. Ciò può essere effettuato tramite query SQL o altri strumenti disponibili all’interno della piattaforma Snowflake. Snowflake permette di modificare i dati prima del salvataggio, consentendo di pulirli, arricchirli e organizzarli secondo le specifiche esigenze.

Questa flessibilità nella preparazione dei dati contribuisce a garantire che gli stessi siano accurati, coerenti e ottimizzati per la reportistica. Snowflake supporta diverse tecniche di manipolazione, facilitando la gestione di trasformazioni complesse, così da formattare correttamente i dati per requisiti specifici.

3. Gestire grandi volumi di dati

Il design di Snowflake è in grado di gestire ingenti quantità di dati durante il processo di staging, scalando verso l’alto o verso il basso a seconda delle necessità. Ciò significa che Snowflake può regolare la propria capacità per adattarsi a carichi di dati variabili, garantendo una gestione efficiente senza subire sovraccarichi.

La capacità di scalare rende Snowflake un’opzione affidabile per compiti di elaborazione dati. Esso può facilmente regolare le risorse per processare i dati in modo efficiente e accurato, effettuando questa regolazione durante il caricamento. Tale scalabilità è fondamentale per le organizzazioni che gestiscono enormi quantità di dati, permettendo di fronteggiare picchi di volume senza incorrere in problemi prestazionali.

Inoltre, il design flessibile di Snowflake consente alle organizzazioni di modificare facilmente le proprie risorse in base alle necessità, garantendo una rapida organizzazione e gestione delle informazioni, e facilitando l’ottenimento di insight più tempestivi e decisioni più ponderate.

Aspetti di Sicurezza nello Staging dei Dati in Snowflake

Quando si tratta dello staging dei dati in Snowflake, la sicurezza è una priorità assoluta. Snowflake offre diverse funzionalità per garantire la sicurezza e l’integrità dei dati in staging:

Controllo degli accessi: Snowflake consente di assegnare permessi specifici a utenti e ruoli, garantendo che solo le persone autorizzate possano accedere e manipolare i dati in staging.
Crittografia: Tutti i dati in Snowflake Stage sono automaticamente crittografati sia a riposo che in transito, proteggendo le informazioni sensibili da accessi non autorizzati.
Validazione dei Dati: Snowflake offre meccanismi per validare l’integrità e la coerenza dei dati in staging prima di caricarli nelle tabelle.

Esempio

Qui utilizziamo uno stage predefinito di Snowflake tramite il Command Line Interface (CLI). Lo stage è destinato a un ambiente di test e i dati fittizi in formato CSV sono stati generati casualmente su mockaroo.com. Per utilizzare lo stage predefinito di Snowflake per il file MOCK_DATA_1.csv, segua questi passaggi:

Connettersi al proprio account Snowflake utilizzando il CLI di Snowflake. L’output sarà simile a questo:

C:\Users\user>snowsql -a xz13yxx.eu-central-1
User: DAN
Password:*******
* SnowSQL * v1.2.32
Type SQL statements or !help
DAN#COMPUTE_WH@(no database).(no schema)>

Creare un nuovo database (se non già esistente). Utilizzare il database:

DAN#COMPUTE_WH@(no database).(no schema)>CREATE DATABASE mock_database;
+----------------------------------------------+
| status                                       |
|----------------------------------------------|
| Database MOCK_DATABASE successfully created. |
+----------------------------------------------+
1 Row(s) produced. Time Elapsed: 1.062s

DAN#COMPUTE_WH@MOCK_DATABASE.PUBLIC>use MOCK_DATABASE;
+----------------------------------+
| status                           |
|----------------------------------|
| Statement executed successfully. |
+----------------------------------+
1 Row(s) produced. Time Elapsed: 0.156s

Caricare i dati nello stage predefinito (in questo caso non viene creato uno stage nominato):

DAN#COMPUTE_WH@MOCK_DATABASE.PUBLIC>PUT 'file://C:/TmpDataSnowflake/MOCK_DATA_1.csv' @~ AUTO_COMPRESS=TRUE;
+-----------------+--------------------+ ... +--------------------+----------+---------+
| source          | target             | ... | target_compression | status   | message |
|-----------------+--------------------+ ... +--------------------+----------+---------|
| MOCK_DATA_1.csv | MOCK_DATA_1.csv.gz | ... | GZIP               | UPLOADED |         |
+-----------------+--------------------+ ... +--------------------+----------+---------+
1 Row(s) produced. Time Elapsed: 1.922s

Verificare i dati in staging:

DAN#COMPUTE_WH@MOCK_DATABASE.PUBLIC>LS @~;
+--------------------+-------+...+-------------------------------+
| name               | size  |...| last_modified                 |
|--------------------+-------+...+-------------------------------|
| MOCK_DATA_1.csv.gz | 29456 |...| Fri, 22 Mar 2024 10:49:54 GMT  |
+--------------------+-------+...+-------------------------------+
1 Row(s) produced. Time Elapsed: 1.071s

L’output mostrerà i file caricati con successo in Snowflake. Nota che non si può utilizzare lo stage predefinito interno per una tabella esterna. Inoltre, se si desidera creare una tabella per i dati in staging, Lei potrà utilizzare il CLI con il comando CREATE o REPLACE EXTERNAL TABLE mock_table_1 oppure creare direttamente una tabella esterna in Snowflake Worksheet. L’utilizzo della Worksheet basata sul Web risulta più comodo per la creazione della tabella a causa di eventuali problemi di copia-incolla nel client console.

USE DATABASE MOCK_DATABASE;
CREATE or REPLACE TABLE mock_table_1 (
	id INT,
	first_name VARCHAR,
	last_name VARCHAR,
	email VARCHAR,
	gender VARCHAR,
	ip_address VARCHAR,
	card_num VARCHAR
	);
CREATE OR REPLACE FILE FORMAT my_csv_format TYPE = 'CSV' FIELD_OPTIONALLY_ENCLOSED_BY = '"' SKIP_HEADER = 1;
COPY INTO mock_table_1 FROM @~/MOCK_DATA_1.csv.gz FILE_FORMAT = (FORMAT_NAME = my_csv_format) ON_ERROR = 'CONTINUE';

Esempio

Creare uno Snowflake Stage utilizzando l’interfaccia Web di Snowflake:

Acceda al proprio account Snowflake tramite l’interfaccia web.
Navigare alla scheda “Databases” e selezionare o creare il database e lo schema desiderati.
Cliccare sulla scheda “Stages” e selezionare “Create”.
Fornire un nome per lo stage e configurare le impostazioni necessarie, come l’integrazione dello storage e il formato dei file.
Cliccare su “Create” per creare lo stage.
Per caricare i dati nello stage, navigare alla scheda “Stages”, selezionare lo stage e cliccare “Load Data”.
Specificare la posizione e il formato dei file di dati e cliccare “Load”.

I dati in staging saranno disponibili per ulteriori elaborazioni e per essere caricati nelle tabelle di Snowflake.

Conclusione

Snowflake Stage semplifica la preparazione dei dati per l’analisi nel Cloud. Snowflake aiuta le organizzazioni a gestire e processare grandi quantità di dati provenienti da fonti diverse in modo sicuro e flessibile. Grazie alla sua architettura basata sul Cloud e alla sua scalabilità, Snowflake Stage ottimizza il processo di staging dei dati, consentendo alle aziende di prendere decisioni basate sui dati in maniera più rapida ed efficace.

DataSunrise offre strumenti eccezionali e flessibili per Snowflake, includendo funzionalità di sicurezza, regole di audit, mascheramento e conformità. Per saperne di più su come DataSunrise può migliorare la Sua esperienza con Snowflake, visiti il nostro sito web e prenoti una demo online.