Big data per DevOps: utilizzo degli strumenti Hadoop per la gestione dei log, la sicurezza e l'ottimizzazione delle performances delle applicazioni (APM)

Big Data Analysis con Hadoop e Spark
18 aprile 2017
Mongo DB
18 aprile 2017
Big Data

Big data per DevOps:

utilizzo degli strumenti Hadoop per la gestione dei log, la sicurezza e l'ottimizzazione delle performances delle applicazioni (APM)

Il corso fornisce un’introduzione alle metodologie e agli strumenti per l’analisi dei Big Data con esempi reali di applicazione degli stessi in ambito application performance management (APM).

 

Prerequisiti

Il partecipante dovrebbe avere una certa dimestichezza nella creazione e nel deploy di applicazioni distribuite, nella connessione ad un database, nell’interrogazione di basi di dati di tipo relazionale, nell’utilizzo di strumenti di build automation, configuration management ed una buona conoscenza della linea di comando dei sistemi operativi Unix-like.

 

 

Obiettivi formativi

Al termine del corso il partecipante sarà in grado di:

  • Comprendere l’architettura ed i moduli del framework Hadoop
  • Utilizzare il filesystem distribuito HDFS
  • Caricare dati (bulk load) su HDFS mediante Sqoop
  • Interrogare Hadoop utilizzando una sintassi SQL-like mediante Hive
  • Memorizzare log di grandi dimensioni su Hadoop mediante Flume
  • Implementare una piattaforma di Operational Intelligence utilizzando lo stack di strumenti opensource Fluentd + Elasticsearch + Kibana

 

 

Programma

  • Introduzione all’APM
  • Analisi delle metriche e KPI
  • Definizione di Big Data
  • Approccio SQL vs. NoSQL
  • Analisi delle principali tipologie di database di tipo NoSQL
  • Introduzione al framework Hadoop
  • Utilizzo del filesystem HDFS
  • YARN e MapReduce
  • Data ingestion mediante l’utilizzo di Sqoop
  • Interrogare Hadoop utilizzando una sintassi SQL-like con Hive
  • Cenni di scripting con Pig
  • Data ingestion dei file di log su Hadoop con Flume
  • Analisi delle metriche in tempo reale utilizzando lo stack Fluentd + Elasticsearch + Kibana
  • Domande e risposte