Szkolenie z Apache Spark
Jeśli potrzebujesz wyszkolić swój zespół w Apache Spark – jesteś w dobrym miejscu. Całe szkolenie przygotowane jest tak, aby kursanci mogli bezpośrednio po tym przejść do praktyki i wiedzieli w którą stronę się rozwijać. Zapraszam, opowiem Ci trochę o tym jak to wygląda;-)
Czym jest Apache Spark?
Mówiąc prosto i konkretnie: to technologia, dzięki której przetworzysz dane (czyli wyciągniesz z nich „esencję” jak statystyki, czy wyszukasz powiązania) wykorzystując moc wielu komputerów. Dzięki temu uporasz się z dużymi danymi w efektywny sposób. I to tyle!
Choć Spark to potężna technologia, podstawy naprawde mogą być tłumaczone prosto i przystępnie! Tak właśnie działamy.
Jeśli więc nie kusi Cię rzucanie technicznym mięsem na prawo i lewo, za to chcesz zacząć pracować z Apache Spark i cieszyć się tą technologią – jesteś w dobrym miejscu! Witamy „na naszej ziemi”;-).
Dlaczego nasze szkolenia są skuteczne?
"Tak blisko rzeczywistości, jak to możliwe..."
Choć między szkoleniem a życiem zawsze jest przepaść, naszym podstawowym zadaniem jest sprawić, aby była ona jak najmniejsza. Aby to osiągnąć szkolenia są starannie przemyślane (z ciekawymi ćwiczeniami), kursanci pracują na prawdziwych klastrach, ze swoich komputerów, łącząc się narzędziami stosowanymi na co dzień. Dzięki temu mogą potem sprawnie przejść do prawdziwych projektów.
Indywidualne podejście
Każdy z nas patrzy inaczej na świat, a co za tym idzie - uczy się inaczej. My to rozumiemy, dostosowujemy tłumaczenie i tempo do możliwie każdego uczestnika. W trakcie zadań doglądamy, czy każdy rozumie i czy będzie umiał wynieść coś z kursu. Skutek jest taki, że nasi kursanci po każdym (!) szkoleniu chwalą sobie to, że jesteśmy tam dla nich.
Spotkanie z nami to dopiero początek
Mamy świadomość i pokorę, że jesteśmy jedynie drobnym elementem w całym procesie budowy zespołu oraz rozwoju danego specjalisty. Właśnie dlatego spotkanie z nami traktujemy jako początek. Kursanci wyposażani są w materiały edukacyjne, zasoby oraz kod, który pomoże im później na spokojnie ugruntować wiedzę i przećwiczyć. Klient dostaje natomiast skrótową opinię na temat zespołu i tego co dalej można zrobić, aby w pełni wykorzystać potencjał.
A także...
Dobra atmosfera!
Dla nas Big Data to świetna zabawa (również gdy wiąże się z ciężką pracą). chcemy, aby te kilka dni było nie tylko wartościowym, ale i po prostu... fajnie spędzonym czasem. Według naszej filozofii jest to także dużo skuteczniejsze. Prowadzący jest więc życzliwy, nie wywyższa się, a każdy kursant może poczuć się jak ktoś ważny i spokojny tego, że przyszedł tu zdobyć wiedzę, nie zaś by być musztrowany.
Jak to wygląda? (FAQ)
Jaki jest czas trwania kursu?
Całe szkolenie trwa od 3 do 5 dni po 7 godzin dziennie. Wszystko uzależnione jest od Twoich indywidualnych wymagań oraz stanu zespołu (liczby uczestników, doświadczenia itd).
Forma szkolenia Apache Spark
Szkolenia odbywają się jako spotkanie online lub stacjonarne, po 7h dziennie. Wszystko co będzie potrzebne do przygotowania wcześniej, zostanie udostępnione w trakcie wstępnych rozmów, jednak pewnym minimum jest Intellij oraz możliwość łączenia się przez SSH dla każdego kursanta.
Całość to przystępnie przekazana teoria przeplatana starannie dobranymi ćwiczeniami. Dzięki temu kursanci wiedzą czemu oraz jak coś działa.
Uczestnicy szkolenia mają dostęp do prawdziwego środowiska Big Data – klastra obliczeniowego zainstalowanego w chmurze. Dzięki temu drastycznie wzrasta poziom przełożenia wiedzy kursowej na prawdziwe projekty.
Na czym pracujemy?
Jesteśmy praktykami. Zdajemy sobie sprawę z tego co daje największe przełożenie na późniejszą pracę w projektach. Jedną z ważniejszych rzeczy jest to, w jakim środowisku uczą się kursanci.
- Intellij jako podstawowe narzędzie – najpopularniejsze IDE do Scali i Javy również u nas będzie grało pierwsze skrzypce.
- Prawdziwy klaster Big Data. W zależności od potrzeb, jednak prawie zawsze jest to Hadoop. Dzięki temu możemy nie tylko pracować w warunkach zbliżonych do prawdziwych, ale także przyjrzeć się szczegółom pracy na wielu prawdziwych maszynach.
- Narzędzia do łączenia się po ssh. Różne, w zależności od preferencji uczestników.
Z czym zostawiamy kursantów?
Jak można przeczytać wyżej, zdajemy sobie sprawę, że nie jesteśmy pępkiem świata kursanta, ani firmy z jakiej przychodzi. Chcemy być jednak możliwie dużą dźwignią w rozwoje tak konkretnego uczestnika, jak i całego zespołu.
W związku z tym nasza pomoc nie kończy się na „sali szkoleniowej”. Przygotowaliśmy szereg pomocy.
Dla kursantów:
- Prezentacje dostępne podczas szkolenia (PDF)
- Dokument po-szkoleniowy na temat Apache Spark
- Zasoby (dane) potrzebne do wykonywania ćwiczeń
- Projekt z rozwiązanymi ćwiczeniami omawianymi podczas szkolenia.
Dla klienta (menedżera, przedsiębiorcy, Team Leadera itd):
Opis kursantów oraz tego jak nimi kierować, aby wykorzystać ich mocne strony.
Jakie są terminy?
Więc ile to trwa? Ile trzeba czekać na przygotowanie szkolenia? Powiedzmy sobie dwie rzeczy:
Po pierwsze: przygotowanie szkolenia to nie jest prosta sprawa. Trzeba zbudować środowisko, dopasować materiały, ćwiczenia, kalendarz instruktora…
Ta druga jest taka, że dzięki naszemu metodycznemu podejściu oraz poczuciu misji (naprawdę!), jesteśmy w stanie przygotować dla Ciebie szkolenie bardzo, bardzo szybko. Wszystko jest kwestią wielu różnych parametrów – specyficzności szkolenia, dostępności instruktorów, ceny, gotowości na ustępstwa.
Standardowo od momentu kontaktu jesteśmy w stanie przygotować termin i przeprowadzić szkolenie w ciągu kilku tygodni.
W skrajnych wersjach… cóż, mamy na koncie szkolenie, które zaczęło być „dogadywane” poprzedniego dnia. My naprawdę kochamy tę robotę, mówiłem już? Jeśli chcesz się dowiedzieć więcej, po prostu napisz. Nie, to nie kosztuje i nie, nie jest niczym dziwnym ;-).
Wymagania wstępne
Kursanci przed przystąpieniem do szkolenia powinni umieć… podstawy Scali oraz posługiwania się systemem Linux.
Dodatkowo dobrze, gdyby kursanci mieli świadomość tego czym jest Big Data oraz choć minimalne doświadczenie z Hadoop, w szczególności HDFS. Jeśli tych czynników nie ma, proponujemy poszerzenie szkolenia właśnie o te moduły.
Całe szkolenie trwa od 3 do 5 dni po 7 godzin dziennie. Wszystko uzależnione jest od Twoich indywidualnych wymagań oraz stanu zespołu (liczby uczestników, doświadczenia itd).
Szkolenia odbywają się jako spotkanie online lub stacjonarne, po 7h dziennie. Wszystko co będzie potrzebne do przygotowania wcześniej, zostanie udostępnione w trakcie wstępnych rozmów, jednak pewnym minimum jest Intellij oraz możliwość łączenia się przez SSH dla każdego kursanta.
Całość to przystępnie przekazana teoria przeplatana starannie dobranymi ćwiczeniami. Dzięki temu kursanci wiedzą czemu oraz jak coś działa.
Uczestnicy szkolenia mają dostęp do prawdziwego środowiska Big Data – klastra obliczeniowego zainstalowanego w chmurze. Dzięki temu drastycznie wzrasta poziom przełożenia wiedzy kursowej na prawdziwe projekty.
Jesteśmy praktykami. Zdajemy sobie sprawę z tego co daje największe przełożenie na późniejszą pracę w projektach. Jedną z ważniejszych rzeczy jest to w jakim środowisku uczą się kursanci.
- Intellij jako podstawowe narzędzie – najpopularniejsze IDE do Scali i Javy również u nas będzie grało pierwsze skrzypce.
- Prawdziwy klaster Big Data. W zależności od potrzeb, jednak prawie zawsze jest to Hadoop. Dzięki temu możemy nie tylko pracować w warunkach zbliżonych do prawdziwych, ale także przyjrzeć się szczegółom pracy na wielu prawdziwych maszynach.
- Narzędzia do łączenia się po ssh. Różne, w zależności od preferencji uczestników.
Jak można przeczytać wyżej, zdajemy sobie sprawę, że nie jesteśmy pępkiem świata kursanta, ani firmy z jakiej przychodzi. Chcemy być jednak możliwie dużą dźwignią w rozwoje tak konkretnego uczestnika, jak i całego zespołu.
W związku z tym nasza pomoc nie kończy się na „sali szkoleniowej”. Przygotowaliśmy szereg pomocy.
Dla kursantów:
- Prezentacje dostępne podczas szkolenia (PDF)
- Dokument po-szkoleniowy na temat Apache Spark
- Zasoby (dane) potrzebne do wykonywania ćwiczeń
- Projekt z rozwiązanymi ćwiczeniami omawianymi podczas szkolenia.
Dla klienta (menedżera, przedsiębiorcy, Team Leadera itd):
Opis kursantów oraz tego jak nimi kierować, aby wykorzystać ich mocne strony.
Więc ile to trwa? Ile trzeba czekać na przygotowanie szkolenia? Powiedzmy sobie dwie rzeczy:
Po pierwsze: przygotowanie szkolenia to nie jest prosta sprawa. Trzeba zbudować środowisko, dopasować materiały, ćwiczenia, kalendarz instruktora…
Ta druga jest taka, że dzięki naszemu metodycznemu podejściu oraz poczuciu misji (naprawdę!), jesteśmy w stanie przygotować dla Ciebie szkolenie bardzo, bardzo szybko. Wszystko jest kwestią wielu różnych parametrów – specyficzności szkolenia, dostępności instruktorów, ceny, gotowości na ustępstwa.
Standardowo od momentu kontaktu jesteśmy w stanie przygotować termin i przeprowadzić szkolenie w ciagu kilku tygodni.
W skrajnych wersjach… cóż, mamy na koncie szkolenie, które zaczęło być „dogadywane” poprzedniego dnia. My naprawdę kochamy tą robotę, mówiłem już? Jeśli chcesz się dowiedzieć więcej, po prostu napisz. Nie, to nie kosztuje i nie, nie jest niczym dziwnym;-).
Kursanci przed przystąpieniem do szkolenia powinni umieć… podstawy Scali oraz posługiwania się systemem Linux.
Dodatkowo dobrze, gdyby kursanci mieli świadomość tego czym jest Big Data oraz choć minimalne doświadczenie z Hadoop, w szczególności HDFS. Jeśli tych czynników nie ma, proponujemy poszerzenie szkolenia właśnie o te moduły.
Plan ramowy - co dokładnie przekazujemy podczas szkolenia?
Szkolenie z Apache Spark pozwala zrozumieć podstawy operowania na tej technologii. Podstawy we wszystkich istotnych dziedzinach. Dzięki temu uczestnicy szkolenia mogą rozpocząć przygodę z projektem na poziomie juniorskim od razu po ukończeniu kursu.
Choć dokładny plan ustalany jest w kontekście indywidualnych potrzeb klienta, wychodzimy od naszej „bazy”. Podzielona ona została na 3 części:
- Podstawy Sparka – zarówno architektura jak i wszelkie podstawowe mechanizmy.
- Spark na serwerze – trening pracy z prawdziwym klastrem.
- Spark dla zaawansowanych – najkrótsza sekcja, która obejmuje kilka elementów dodatkowych, wykraczających poza to co nazwiemy „standardowymi podstawami”.
Podstawy Apache Spark
- YARN – podstawy
- Czym jest Spark?
- Architektura
- Struktury Danych (RDD, Dataset, Dataframe)
- Budowa logiczna joba Sparkowego (DAG, akcje, transformacje)
- Alternatywy dla Sparka
- Joiny
- UDFy
- Pliki zewnętrzne
Apache Spark - praca na serwerze
- Różne dystrybucje hadoopa
- Spark Submit
- Spark a pliki (w tym hdfs)
- Logi Sparka na YARNie
- Spark UI i Spark History Server
Apache Spark dla zaawansowanych
- JDBC + Postgresql
- Partycjonowanie
- Praktyczne porady i dobre praktyki
- Głębsza teoria z zakresu zarządzania pamięcią
- Datasety – jak sprawić, żeby zachować schemę?
Cennik
Zanim przejdziemy do ceny, jeśli chcemy być uczciwi, musimy omówić podstawową rzecz, czyli „za co tak naprawdę płacisz”?
- Doświadczenie inżynierskie instruktora - najczęściej przynajmniej kilka lat i parę projektów (R&D lub komercyjnych)
- Doświadczenie dydaktyczne instruktora - podobnie jak w poprzednim punkcie. Jesteśmy pasjonatami nie tylko Big Data, ale także pracy z innymi i przekazywania im wiedzy!
- Przygotowanie teorii w taki sposób, aby została wchłonięta przez kursantów. Bo wszystko jest w internecie, ale nie wystarczy teorię przedstawić. Trzeba to zrobić tak, aby owocowała przez kolejne lata.
- Przygotowanie ćwiczeń - nie tylko ich zaprojektowanie, zebranie zadań, ale także bardzo często wykonanie ich w celu omówienia (wzorzec). Ćwiczenia to u nas klucz do poznania, ale i utrwalenia umiejętności.
- Zebranie wszystkiego w całość w formie prezentacji. Dodajmy, tak żeby było to ciekawe i zrozumiałe;-).
- Dokument, który opisuje technologię. Taki dokument kursanci otrzymają po szkoleniu, dzięki czemu będą mogli wrócić do treści i powtórzyć te fragmenty, których nie znają.
- Czas instruktora
- Infrastruktura technologiczna - czyli klaster Big Data z zainstalowanymi technologiami Hadoop i Spark. Bo nie pracujemy na symulowanym środowisku.
Szkolenie stacjonarne
Opcja standardowa
- Na miejscu
- Przetestowana receptura
- Zasoby, materiały oraz feedback Po szkoleniu
Szkolenie online
Opcja standardowa
- Zdalnie
- Przetestowana receptura
- Zasoby, materiały oraz feedback Po szkoleniu
Skontaktuj się z nami
Jesteśmy tu po to, żeby Ci pomóc i daleko nam do biurokratów więc… wybierz dogodny dla siebie sposób. Możesz skorzystać z formularza lub napisać najzwyklejszego w świecie maila.
Podkreślmy jednak najpierw jedno: rozmowa z nami jest naprawdę niezobowiązująca. A my lubimy rozmawiać, więc chociaż się przedstaw!;-).
Email: kontakt@riotechdatafactory.com
Masz pytanie? Porozmawiajmy
Jeśli potrzebujesz jeszcze rozeznać się w naszej ofercie znajdziesz ją w zakładce „Oferta”. Opowiemy Ci o tym jak szkolimy, czy w jakich technologiach się specjalizujemy.
Jeśli jednak chcesz porozmawiać – bardzo się cieszymy!
Z myślą o Tobie przygotowaliśmy dla Ciebie darmową, niezobowiązującą konsultację. Kliknij przycisk obok, aby dowiedzieć się więcej.