Szkolenie ze Spark Structured Streaming
Jeśli potrzebujesz wyszkolić swój zespół w Spark Structured Streaming – jesteś w dobrym miejscu. Całe szkolenie przygotowane jest tak, aby kursanci mogli bezpośrednio po nim przejść do praktyki i wiedzieli w którą stronę się rozwijać. Zapraszam, opowiem Ci trochę o tym jak to wygląda;-)
Czym jest Spark Structured Streaming?
Wyobraź sobie, że chcesz monitorować swoją markę w mediach społecznościowych. Budujesz w związku z tym dwa rodzaje mechanizmów: pierwszy „nasłuchuje” w celu wydobycia konkretnych treści (np. postów z hashtagami, które Cię interesują). Drugi przetwarza wszystkie znalezione dane w czasie rzeczywistym. Możesz tam obliczyć jaki jest sentyment wpisu (negatywny/pozytywny), sprawdzić sprawnie czy wpis ten różni sie od innych konkretnego autora itd. Jeśli coś zwróci uwagę algorytmu – wyślesz email z alertem. Spark Structured Streaming pozwala stworzyć właśnie ten drugi moduł. Dzięki niemu będziesz przetwarzać dane pojawiające się w czasie rzeczywistym – i to wykorzystując moc wielu komputerów.
I to tyle!
Choć Spark to potężna technologia, podstawy naprawdę mogą być tłumaczone prosto i przystępnie! Tak właśnie działamy. Jeśli więc nie kusi Cię rzucanie technicznym mięsem na prawo i lewo, za to chcesz zacząć pracować ze Spark Structured Streaming i cieszyć się tą technologią – jesteś w dobrym miejscu! Witamy „na naszej ziemi”;-).
Dlaczego nasze szkolenia są skuteczne?
"Tak blisko rzeczywistości, jak to możliwe..."
Choć między szkoleniem a życiem zawsze jest przepaść, naszym podstawowym zadaniem jest sprawić, aby była ona jak najmniejsza. Aby to osiągnąć szkolenia są starannie przemyślane (z ciekawymi ćwiczeniami), kursanci pracują na prawdziwych klastrach, ze swoich komputerów, łącząc się narzędziami stosowanymi na co dzień. Dzięki temu mogą potem sprawnie przejść do prawdziwych projektów.
Indywidualne podejście
Każdy z nas patrzy inaczej na świat, a co za tym idzie - uczy się inaczej. My to rozumiemy, dostosowujemy tłumaczenie i tempo do możliwie każdego uczestnika. W trakcie zadań doglądamy, czy każdy rozumie i czy będzie umiał wynieść coś z kursu. Skutek jest taki, że nasi kursanci po każdym (!) szkoleniu chwalą sobie to, że jesteśmy tam dla nich.
Spotkanie z nami to dopiero początek
Mamy świadomość i pokorę, że jesteśmy jedynie drobnym elementem w całym procesie budowy zespołu oraz rozwoju danego specjalisty. Właśnie dlatego spotkanie z nami traktujemy jako początek. Kursanci wyposażani są w materiały edukacyjne, zasoby oraz kod, który pomoże im później na spokojnie ugruntować wiedzę i przećwiczyć. Klient dostaje natomiast skrótową opinię na temat zespołu i tego co dalej można zrobić, aby w pełni wykorzystać potencjał.
A także...
Dobra atmosfera!
Dla nas Big Data to świetna zabawa (również gdy wiąże się z ciężką pracą). chcemy, aby te kilka dni było nie tylko wartościowym, ale i po prostu... fajnie spędzonym czasem. Według naszej filozofii jest to także dużo skuteczniejsze. Prowadzący jest więc życzliwy, nie wywyższa się, a każdy kursant może poczuć się jak ktoś ważny i spokojny tego, że przyszedł tu zdobyć wiedzę, nie zaś by być musztrowany.
Jak to wygląda? (FAQ)
Całe szkolenie trwa od 2 do 3 dni po 7 godzin dziennie. Wszystko uzależnione jest od Twoich indywidualnych wymagań oraz stanu zespołu (liczby uczestników, doświadczenia itd). Jest oczywiście możliwość połączenia tego szkolenia ze szkoleniem z Apache Spark
Szkolenia odbywają się jako spotkanie online lub stacjonarne, po 7h dziennie. Wszystko co będzie potrzebne do przygotowania wcześniej, zostanie udostępnione w trakcie wstępnych rozmów, jednak pewnym minimum jest Intellij oraz możliwość łączenia się przez SSH dla każdego kursanta.
Całość to przystępnie przekazana teoria przeplatana starannie dobranymi ćwiczeniami. Dzięki temu kursanci wiedzą czemu oraz jak coś działa.
Uczestnicy szkolenia mają dostęp do prawdziwego środowiska Big Data – klastra obliczeniowego zainstalowanego w chmurze. Dzięki temu drastycznie wzrasta poziom przełożenia wiedzy kursowej na prawdziwe projekty.
Jesteśmy praktykami. Zdajemy sobie sprawę z tego co daje największe przełożenie na późniejszą pracę w projektach. Jedną z ważniejszych rzeczy jest to w jakim środowisku uczą się kursanci.
- Intellij jako podstawowe narzędzie – najpopularniejsze IDE do Scali i Javy, również u nas będzie grało pierwsze skrzypce.
- Prawdziwy klaster Big Data. W zależności od potrzeb, jednak prawie zawsze jest to Hadoop. Dzięki temu możemy nie tylko pracować w warunkach zbliżonych do prawdziwych, ale także przyjrzeć się szczegółom pracy na wielu prawdziwych maszynach.
- Narzędzia do łączenia się po ssh. Różne, w zależności od preferencji uczestników.
Jak można przeczytać wyżej, zdajemy sobie sprawę, że nie jesteśmy pępkiem świata kursanta, ani firmy z jakiej przychodzi. Chcemy być jednak możliwie dużą dźwignią w rozwoje tak konkretnego uczestnika, jak i całego zespołu.
W związku z tym nasza pomoc nie kończy się na „sali szkoleniowej”. Przygotowaliśmy szereg pomocy.
Dla kursantów:
- Prezentacje dostępne podczas szkolenia (PDF)
- Dokument po-szkoleniowy na temat Apache Spark
- Zasoby (dane) potrzebne do wykonywania ćwiczeń
- Projekt z rozwiązanymi ćwiczeniami omawianymi podczas szkolenia.
Dla klienta (menedżera, przedsiębiorcy, Team Leadera itd) przygotowujemy opis kursantów oraz tego jak nimi pokierować, aby wykorzystać ich mocne strony.
Więc ile to trwa? Ile trzeba czekać na przygotowanie szkolenia? Powiedzmy sobie dwie rzeczy:
Po pierwsze: przygotowanie szkolenia to nie jest prosta sprawa. Trzeba zbudować środowisko, dopasować materiały, ćwiczenia, kalendarz instruktora…
Ta druga jest taka, że dzięki naszemu metodycznemu podejściu oraz poczuciu misji (naprawdę!), jesteśmy w stanie przygotować dla Ciebie szkolenie bardzo, bardzo szybko. Wszystko jest kwestią wielu różnych parametrów – specyficzności szkolenia, dostępności instruktorów, ceny, gotowości na ustępstwa.
Standardowo od momentu kontaktu jesteśmy w stanie przygotować termin i przeprowadzić szkolenie w ciagu kilku tygodni.
W skrajnych wersjach… cóż, mamy na koncie szkolenie, które zaczęło być „dogadywane” poprzedniego dnia. My naprawdę kochamy tą robotę, mówiłem już? Jeśli chcesz się dowiedzieć więcej, po prostu napisz. Nie, to nie kosztuje i nie, nie jest niczym dziwnym;-).
Kursanci przed przystąpieniem do szkolenia powinni umieć podstawy Scali oraz posługiwania się systemem Linux. Koniecznością jest także znajomość samego frameworka Apache Spark (a przynajmniej jego podstaw), choć możemy przygotować łączone szkolenie Spark + Spark Structured Streaming.
Dodatkowo dobrze, gdyby kursanci mieli świadomość tego czym jest Big Data oraz choć minimalne doświadczenie z Hadoop, w szczególności HDFS. Jeśli tych czynników nie ma, proponujemy poszerzenie szkolenia właśnie o te moduły.
Plan ramowy - co dokładnie przekazujemy podczas szkolenia?
Szkolenie ze Spark Structured Streaming pozwala zrozumieć podstawy operowania na tej technologii streamingowej. Wszystko dzieje się dzięki umiejętnemu przeplataniu teorii oraz ćwiczeń, nad którymi czuwa instruktor. Dzięki temu uczestnicy szkolenia mogą rozpocząć przygodę z projektem na poziomie juniorskim od razu po ukończeniu kursu.
Choć dokładny plan ustalany jest w kontekście indywidualnych potrzeb klienta, wychodzimy od naszej „bazy”.
Spark Structured Streaming - podstawy
- 3 rodzaje przetwarzania danych (wprowadzenie do streamingu)
- Wyzwania Streamingu
- Delivery Guarantee
- Spark Streaming (kilka słów o tym co było – DStreams itd)
- Spark Structured Streaming (parę słów wprowadzenia, różnice ze Spark Streaming)
- Podstawowa architektura
- Output modes
- Podstawowa budowa w kodzie (wczytanie-operacje-zapisanie)
Spark Structured Streaming - rozwinięcie
- Rodzaje Źródeł
- Rodzaje writerów/sinków
- Kafka – wprowadzenie (jedynie na potrzeby użycia Sparka)
- Operacje niewspierane przez SSS
- Windows Operations
- Late Data + watermarking
- Joiny
Cennik
Zanim przejdziemy do ceny, jeśli chcemy być uczciwi, musimy omówić podstawową rzecz, czyli „za co tak naprawdę płacisz”?
- Doświadczenie inżynierskie instruktora - najczęściej przynajmniej kilka lat i parę projektów (R&D lub komercyjnych)
- Doświadczenie dydaktyczne instruktora - podobnie jak w poprzednim punkcie. Jesteśmy pasjonatami nie tylko Big Data, ale także pracy z innymi i przekazywania im wiedzy!
- Przygotowanie teorii w taki sposób, aby została wchłonięta przez kursantów. Bo wszystko jest w internecie, ale nie wystarczy teorię przedstawić. Trzeba to zrobić tak, aby owocowała przez kolejne lata.
- Przygotowanie ćwiczeń - nie tylko ich zaprojektowanie, zebranie zadań, ale także bardzo często wykonanie ich w celu omówienia (wzorzec). Ćwiczenia to u nas klucz do poznania, ale i utrwalenia umiejętności.
- Zebranie wszystkiego w całość w formie prezentacji. Dodajmy, tak żeby było to ciekawe i zrozumiałe;-).
- Dokument, który opisuje technologię. Taki dokument kursanci otrzymają po szkoleniu, dzięki czemu będą mogli wrócić do treści i powtórzyć te fragmenty, których nie znają.
- Czas instruktora
- Infrastruktura technologiczna - czyli klaster Big Data z zainstalowanymi technologiami Hadoop i Spark. Bo nie pracujemy na symulowanym środowisku.
Szkolenie stacjonarne
Opcja standardowa
- Na miejscu
- Przetestowana receptura
- Zasoby, materiały oraz feedback Po szkoleniu
Szkolenie online
Opcja standardowa
- Zdalnie
- Przetestowana receptura
- Zasoby, materiały oraz feedback Po szkoleniu
Skontaktuj się z nami
Jesteśmy tu po to, żeby Ci pomóc i daleko nam do biurokratów więc… wybierz dogodny dla siebie sposób. Możesz skorzystać z formularza lub napisać najzwyklejszego w świecie maila.
Podkreślmy jednak najpierw jedno: rozmowa z nami jest naprawdę niezobowiązująca. A my lubimy rozmawiać, więc chociaż się przedstaw!;-).
Email: kontakt@riotechdatafactory.com
Masz pytanie? Porozmawiajmy
Jeśli potrzebujesz jeszcze rozeznać się w naszej ofercie znajdziesz ją w zakładce „Oferta”. Opowiemy Ci o tym jak szkolimy, czy w jakich technologiach się specjalizujemy.
Jeśli jednak chcesz porozmawiać – bardzo się cieszymy!
Z myślą o Tobie przygotowaliśmy dla Ciebie darmową, niezobowiązującą konsultację. Kliknij przycisk obok, aby dowiedzieć się więcej.