Szkolenie z Hadoop

InfoShare Academy to wiodąca akademia IT oferująca kompleksowe programy edukacyjne z nowych technologii dla firm. Od 2015 roku wspieramy organizacje w rozwoju zespołów technologicznych poprzez dedykowane kursy Machine Learning, DevOps, Data Engineering, Python, UX/UI Design, AWS i Kubernetes. Nasze szkolenia opierają się na praktycznych umiejętnościach i rzeczywistych przypadkach biznesowych. Współpracujemy z ponad 300 trenerami-praktykami z branży IT, dzięki czemu programy są dostosowane do aktualnych potrzeb rynku. Specjalizujemy się w reskillingu i upskillingu pracowników. Z nami zbudujesz efektywne zespoły wdrażające nowe technologie, które przyspieszą innowacje i wzmocnią konkurencyjność firmy na rynku. Sprawdź naszą ofertę szkoleń dedykowanych dla firm, które zostały stworzone z myślą o rozwijaniu kompetencji Twoich pracowników w obszarze IT.

• Szkolenie Hadoop to intensywny, dwudniowy kurs skoncentrowany na praktycznym zastosowaniu tego popularnego frameworka do przetwarzania i analizy dużych zbiorów danych. Program szkolenia jest zaprojektowany tak, aby uczestnicy zdobyli solidne podstawy teoretyczne (20%) oraz rozwinęli swoje umiejętności praktyczne (80%) poprzez liczne warsztaty i projekty. Kurs jest idealny dla osób pragnących zrozumieć i wykorzystać Hadoop w swoich projektach.
• Wymagane umiejętności technologiczne:
• Znajomość podstaw programowania w Java lub Pythonie
• Podstawowa wiedza z zakresu przetwarzania danych
• Umiejętność pracy w środowisku Unix/Linux

• Programistów i inżynierów danych, którzy chcą poszerzyć swoje umiejętności o Hadoop
• Data scientistów i analityków danych pragnących przetwarzać duże zbiory danych w efektywny sposób
• Specjalistów IT i big data, którzy chcą wykorzystać Hadoop w swoich projektach

• Nauczysz się:
• Jak efektywnie zarządzać danymi w HDFS i tworzyć zadania MapReduce
• Jak przetwarzać i analizować dane z użyciem Hive i Pig
• Jak optymalizować zadania MapReduce i zarządzać zasobami Hadoop
• Jak wdrożyć i monitorować aplikacje Hadoop w środowisku produkcyjnym

Dzień 1: Podstawy Hadoop i przetwarzania danych

1. Architektura Hadoop

• Omówienie głównych komponentów Hadoop: HDFS, MapReduce, YARN

• Interakcja między komponentami

2. Podstawy HDFS i MapReduce

• Zarządzanie plikami w HDFS

• Tworzenie i uruchamianie podstawowych zadań MapReduce

3. Podstawy Apache Hive i Apache Pig

• Wprowadzenie do Hive: struktura tabel, zapytania SQL

• Analiza struktury plików pod Hive

• Wprowadzenie do Pig: skrypty Pig Latin

4. Warsztat: Przetwarzanie danych z użyciem MapReduce

• Implementacja prostego zadania MapReduce

• Analiza wyników i optymalizacja zadania

Dzień 2: Zaawansowane techniki i praktyczne zastosowania

5. Zaawansowane przetwarzanie danych

• Pisanie zaawansowanych zapytań Hive

• Tworzenie skomplikowanych skryptów Pig

6. Optymalizacja i tuning wydajności

• Techniki optymalizacji zadań MapReduce

• Zarządzanie zasobami w klastrze Hadoop

7. Warsztat: Analiza danych z użyciem Hive i Pig

• Implementacja zapytań Hive na rzeczywistych zbiorach danych

• Tworzenie skryptów Pig do przetwarzania danych

8. Deployowanie i zarządzanie klastrami Hadoop

• Przygotowanie i wdrażanie aplikacji Hadoop

• Monitorowanie i zarządzanie klastrami Hadoop w środowisku produkcyjnym

9. Optymalizacja kosztowa – czyli jak kontrolować i optymalizować koszty wynikające z hurtowni Redshift

16 h/2 dni

• Certyfikat ukończenia szkolenia
• Miesięczny dostęp do nagrania szkolenia (w przypadku formy online)
• Dostosowanie programu szkolenia do potrzeb klienta