облачные технологии практикум


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

А вы что думали?=)

Многие из вас слышали про мировой успех облачных компаний и таких компаний как Amazon Web Services, Microsoft Azure и Google Cloud Platform. Сейчас мы видим, как отечественное облако активно развивается – Яндекс Облака, Mail.ru облако и Сбербанк тоже работает в этом направлении.

Лично у меня нет опыта работы с отечественным облаками и пока они еще достаточно молодые, но, я очень надеюсь, что они справятся с задачей и у нас появятся конкурентно способные облачные провайдеры.

Сам я занимаюсь задачами аналитики и инжиниринга данных, то есть работаю с buzz words – Big Data, Data Platform, Lakehouse, Data Lake, Data Science, Machine Learning (ML), AI и т. п., в крупных международных компаниях – Amazon, Microsoft, Xbox.  Про все эти дела я уже 3 года успешно пишу в своем телеграмм канале Инжиниринг Данных, где уже больше 10 тысяч подписчиков.

Я работаю с облаками с 2014 года, с 2016 по 2020 в Амазоне (почти 5 лет), где принимал участие в знаменитом проекте Rolling Stone по миграции on-premise инфраструктуры для аналитики в облако AWS.


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Мое выступление в Mail.ru про Эффективность Амазон.

И далее в других командах создавал облачную дата платформу, теперь это называется data products для Business Intelligence и Machine Learning.

В Амазоне я проходил много тренингов по AWS и сдавал их экзамены, то есть все время был в «облачной» среде. Потом я перешел в Microsoft Gaming, и стал делать похожие вещи на Microsoft Azure. И продолжаю делать, теперь я могу рассказать, как строить платформу аналитику для ААА игры, это значит уровень блокбастера, игры, которые создается годами и имеет многомилионный бюджет.

Но работать с Azure, я начал намного раньше, когда создавал консалтинг компанию Rock Your Data в Канаде с целью делать «rolling stone» проекты для компаний в Северной Америке. В 2017–2018  году идея миграции в облака не была такой популярной как сейчас. Идея была правильная, но имплементация плохая, я подробно рассказал об этом в статье – «Опыт создания аналитической консалтинг-компании в Северной Америке (не очень успешный)»

Уже в то время я параллельно изучал Microsoft Azure, чтобы сдать экзамены и получить статус партнера. Все было достаточно просто после опыта в AWS.

Другая моя активность связана с Университетом Виктории в Британской Колумбии.


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

У них я читал лекции по облачным вычислениям для бизнес студентов (MBA) программы. Вообще история забавная. Сколько я жил в Канаде, я все время хотел преподавать в университете, чтобы сделать буст карьере. Я писал профессорам, факультетам, но реакции ноль. Это реально история не про опыт, а про связи. Важно знать кого-то, кто тебя порекомендует нужному человеку.

Один раз ходил на собеседование на курс по визуализации данных и аналитике, то, что нужно. Но мне отказали, зато предложили учить облачным вычислениям, ну облачные, так облачные. Я обычно не теряюсь в непонятных ситуациях, заодно походу разберусь, подумал я.

Сразу поделюсь вам хорошими книгами по этой тематике, которые я использовал. Само собой, я использовал все доступные обучающие ресурсы в Амазоне – внешние и внутренние. Я знал, как рассказать про облака понятно за пару уроков, но чтобы разбить программу на 12 уроков по 4 часа, это пришлось подумать и покопаться.

Другой моей задачей было рассказать так, чтобы сильно не привязываться к конкретному вендору. В целом получилось неплохо. Я донес до людей значение Cloud Computing и различные аспекты использования облачных сервисы и многое другое.

Вот кстати лучшие книги, которые я нашел по теме, и которые использовал активно:


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Architecting the Cloud: Design Decisions for Cloud Computing Service Models (SaaS, PaaS, and IaaS) – хорошая книга, много интересных примеров.


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Cloud Computing: Concepts, Technology & Architecture – это прямо реально учебник, где много рассказывается про устройство дата центра и оборудования.

Ну конечно стоит поблагодарить Амазон за оплату книг, этих, и еще штук 20-30 других по моей тематике😉

Таким образом у меня есть курс и контент на английском. И при этом я активно развиваю сообщество аналитики и совершенно бесплатно учу людей профессиям аналитики с целью дальнейшего трудоустройства и весьма эффективно – проект называет datalearn.ru. На сайт за год зарегистрировалось больше 4000 студентов. Многие пришли от других платных школ, не буду называть их название, но таких много, кто зарабатывает деньги продавая buzz words. Моя цель закрепить мой опыт и своего образа paying back my home country. Это мой персональный challenge и я его закончу.


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Согласной моей программе в течение первых 4х модулей я рассказываю базовые вещи из мира аналитики, которые не сильно изменились за 10 лет. Модуль 5 был посвящен облачным вычислениям, потому что:

1)      Во-первых, в мире практически все компании используют облачные решения и уже знание основ AWS, Azure, GCP это почти как базовое знание Excel в описании вакансии. Про это уже могут даже не писать.

2)      Во-вторых, в РФ ситуация обратная, так как по закону у нас нет дата центров AWS, Azure, GCP и использовать облачные вычисления не безопасно. Все помнят, как глушили IP AWS, когда попытались заблокировать телеграмм. Я сам пострадал, так как у меня был интернет-магазин на AWS для тещи. И следовать наши специалисты не имеет тех возможностей, которые умеют западные специалисты. Поэтому я хотел закрыть этот пробел.

3)      В-третьих, многие ИТ специалисты хотят попробовать поработать за границей или получать удаленный проект. В обоих случаях нужно знать облачные технологии. Про своей опыт переезда в Канаду я тоже описал в статье – Поиск работы за границей и иммиграция в Канаду. И этот вариант все еще рабочий (провинциальная программа).

Таким образом, я собрался силами и записал курс, и, как мне кажется, он получился очень интересным. Я его добавил, как модуль 5 – «Введение в облачные вычисления» в свой курс на Data Learn. Но постарался его сделать максимально независимым, чтобы люди, кому не нужна аналитика, могли понять, что такое облачные вычисления, как они используются в мире.

Я хотел добавить курс бесплатно на STEPIK, но там куча ограничений по размеру видео и оформлению, поэтому добавлю сюда.

Введение в Облачные Вычисления

В этом модуле мы узнаем про облачные вычисления, или просто cloud computing. Мы начнем с основ, и поговорим и главных вендорах и их решениях. Я расскажу про свой опыт с облачными решениями и постараюсь вас научить их использовать и дать достаточно знаний для того, чтобы вы могли понимать, что это такое, и как это используется, а так же применять в работе.

В этом видео вы узнаете про:

Введение в Облачные вычисления (Cloud Computing)?

В 2020 году и в 1-м квартале 2021 года западные вендоры (AWS, Azure, GCP) показали рекордные доходы. ” Облако” используется повсеместно в западных странах и становится все популярней и востребовании. Прежде чем мы начнем использовать “облако” для аналитических задач, мы должны познакомиться с основами облачных вычислений.

Видео лекция – Введение в Облачные вычисления

Дополнительные материалы для изучения:

Концепции и модели облачных вычислений

Согласно National Institute of Standards and Technology (NIST) можно выделить несколько типов облачных сервис моделей и тип самого облако.

Видео лекция – Концепции и модели облачных вычислений

Основы безопасности облачных решений

Безопасность одна из самых важных и скучных тем, по крайней мере для меня. Очень важно понимать возможности облачных провайдеров и знать основные правила создания облачных решений.

Видео лекция – Основы безопасности облачных решений

Данные в облаке

Данные повсюду и облака не исключение. Облачные решения могут создавать или использовать данные для различных целей, например аналитика, IoT, мобильные приложения, бизнес-приложения и многое другое. Все данные, которые находятся в “нашем” облаке – являются нашей собственностью, и мы несем за них ответственность и должны соблюдать законодательство и все регламенты.

Видео лекция – Данные в облаке

Модуль 5. 6 Архитектура облачных решений

Видео лекция – теория – Данные в облаке

Миграция в облако

Окей, облако это хорошо, но что делать, если существующее решение существует on-premise? Ответ прост – мигрировать. Но как? Облачные вендоры максимально решили нам помочь и предоставили огромное количество сервисов, которые упростят нашу жизнь.

Видео лекция – теория – Миграция в облако

Аналитические решения в облаке

Облачные вычисления дают нам много преимуществ, и аналитика не исключение. Мы можем сфокусироваться на решение бизнес-задач и не тратить время на создание инфраструктуры. В зависимости от задачи и доступных ресурсов мы можем использовать IaaS, PaaS или SaaS. Пару кликов и у вас есть хранилище данных, куда вы можете загружать данные и сразу их визуализировать практически в реальном времени. Если кратко, то возможности безграничны и зависят лишь от вашей фантазии и кошелька.

Профессии и сертификация в облачных вычисления

AWS, Azure и GCP предлагают нам сертификацию на любой вкус и цвет. Есть для начинающих и продвинутых. Помимо основной сертификации есть еще специализация в аналитике, сетях, безопасности и тд.

Обзор облачных вакансий – Вакансии с облачными технологиями

Python в Облаке

Python является самым популярным языком программирования и используются абсолютно для любых задач. В будующих модулях datalearn  07. Spark, 08. Big Data и 09. Data Lake мы начнем использовать Python для аналитики, трансформации и инжиниринга данных, поэтому мы решили вв конце модуля про облачные вычисления провести Workshop по Python на AWS. Из которого вы на парктики узнаете основы работы с Python.

Это очень интеренсый workshop на котором вы будет использовать облачную IDE AWS Cloud9, и с помощью языка Python будет обращаться к API AWS Translate сервиса, который делает перевод.

Видео – Python в Облаке

Позавершения курса вы можете:


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Добавить сертификат в Linkedin


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Или поделиться курсом в соц сетях.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

Вы использоваете облако?

Смотрим в эту сторону

Проголосовали 37 пользователей.

Воздержались 5 пользователей.

Обзор курса от Яндекс. Практикум «Инженер облачных сервисов», или Как мы томимся в ожидании заветных сертификатов

Время на прочтение


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Если говорить кратко, то в начале года у компании зародилась отличная мысль повысить компетенции у инженеров путем сдачи всевозможных курсов и получения сертификатов. Был проведен ресерч, и было решено массово готовиться сдавать сертификаты от облачного провайдера AWS.

Однако, в связи известными событиями, лавочка по сдаче экзаменов у AWS закрылась, а если говорить точнее – то с переводами оплаты стало сложнее. А так как нам от многих компаний начали поступать запросы на миграцию в Яндекс, было принято решение поголовно пройти бесплатный курс от Яндекс. Практикум «Инженер облачных сервисов» для более близкого ознакомления с облачными ресурсами Яндекса. В первую очередь прохождение касалось именно junior-инженеров и тех, кому не доводилось работать в этом облаке.

Когда мы закончили с обучением, решили сделать обзор, где бы указывались сильные и слабые этого стороны курса. Я вам покажу, что входит в программу (а курс содержит много чего интересного), сделаю обзор  на каждый блок и под конец накину ложку дегтя, рассказав о том, как большинство ребят из Nixys уже три месяца не могут получить свои законные сертификаты. Давайте начинать.

Пройдя обычную регистрацию и войдя в кабинет практикума мы получаем достаточно понятную и ненагруженную область с представленной программой выбранного курса:


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Текущий курс состоит из 7 блоков из которых 6 учебных и 1 блок итоговый, где нужно заполнить анкеты на получение сертификата:


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Каждый из шести курсов разделен на темы:


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Поначалу будет доступна только первая тема, а после прохождения всех уроков в теме открывается следующая.

Во время обучения, основная ваша задача изучать качественный теоретический материал и попутно выполнять практические задания в Yandex. Cloud.


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Для оплаты используемых ресурсов вам предоставляется стартовый грант после создания первого аккаунта в Yandex. Cloud. Его размер составляет 4 тысячи рублей, либо срок действия — 60 дней. Сразу отмечу, что текущего гранта вам хватит за глаза. При правильном использовании ресурсов (желательно стопать или удалять ресурсы сразу после прохождения практического задания) вы вряд ли потратите даже 500 рублей. Каждый блок можно проходить в любом порядке, однако рекомендую не нарушать очередность, также в конце каждого блока нужно пройти обязательное тестирование, где предоставляются две попытки на сдачу экзамена. ( Сразу предупрежу, если вы теряете все попытки при сдаче, у вас пропадает возможность получения сертификата.)

PS: Стоит наверное сразу предупредить, что к тестовому заданию проще заранее подготовиться. В основном на сдачу предлагают 10 вопросов с вариантами ответов и с выделенным временем на 30 минут. Вопросы в меру сложные, если в целом теорию изучить нормально, то сдать на минимум крайне просто. Самым сложным, наверное, показался тест второго блока. Но тут можно, конечно, схитрить и во время тестирования открыть дополнительную вкладку и прочекать теорию, но я вам об этом не говорил:)

Давайте, теперь кратко, пройдемся по каждому блоку. Я буду описывать по большей части, положительные моменты каждого блока. Блок “Виртуальные машины” для начала очень хорошо задает темп обучения. Здесь вам покажут как поднять виртуальную машину, расскажут про группу безопасности и на практике будет возможность поиграть с балансировщиком нагрузки. От себя отмечу, что понравилась тема “группы виртуальных машин”, где прорабатываются все возможные условия по масштабируемости и отказоустойчивости виртуальных машин.

После отличного старта, далее идет самый длинный и, пожалуй, самый скучный блок данного курса “Хранение и анализ данных”:


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

По версии Яндекса, данный курс рассчитан на 5 часов. Однако сразу скажу, что вы потратите в 2,5 раза больше рассчитанного.

(Небольшой wtf? В программе обучения как раз указаны реальные часы на прохождение блока. Очень странные расхождения):


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Определенно у этого курса очень сильная теория и практика, где вы узнаете о реляционных и нереляционных баз данных. Так же рассмотрите Object Storage, создадите кластера PostgreSQL, MySQL, Clickhouse и тд. Для новичков это самое то, однако, я, конечно, все понимаю, что хотелось показать и рассказать максимально обо всех доступных возможностях бд в облаке, но в середине прохождения возникает стойкое желание проскипать блок (перегружен очень), а еще хуже в некоторых моментах возникли нестыковки в техническом задании, которые добавили дополнительное время на решение практических заданий. Но о минусах мы поговорим чуть позже.

После утомительного второго блока начинается, пожалуй, самый интересный. Хотите kubernetes, docker, terraform? Пожалуйста – получите, распишитесь: все это вы найдете в блоке “DevOps и автоматизация”. Если говорить про общее впечатление, то тут все описано коротко и ясно. Понравилась тема? Показалось, что мало? Так бегом, иди и изучай ее дальше. Особенно это касается терраформа, прям хотелось побольше материала.


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

С блоком “Serverless” вышло как-то спорно. Может быть уже сказывалось усталось от общего прохождения или просто не зацепил, трудно сказать. Блок построен вокруг четырёх основных сервисов экосистемы Serverless в Yandex. Cloud. Тут оставлю описание из урока, где можно ознакомится с программой блока:


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Последние два блока, как по мне, показались самыми простыми и быстрыми по прохождению. В блоке по безопасности вы узнаете, как группы безопасности могут использоваться для сегментации и изоляции ресурсов, а также познакомитесь сервисом Certificate Manager, при помощи которого выпустите сертификат для сайта. Последний блок и вовсе уходит в расчет и контроль финансов в вашем облаке. Из интересного, отмечу практический урок по поиску самой затратной виртуальной машины.

Но как бы я не был ослеплен данными уроками, в процессе обучения начинает складываться впечатление, что на курс, мягко говоря, “подзабили”. Давайте разберем поподробнее (сразу отмечу, что для выявления минусов был проведен опрос среди тех, кто сдавал курс)


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Ну и пожалуй, перейдем, к той самой “ложке дегтя”. Тут отлично подходит данная картинка, от того же курса:


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Получилось так, что части нашей команды инженеров в течении 2-3 недель отправили сертификаты, а остальным почему-то нет. И вот тут совсем недоумеваешь от происходящего, тем более от Яндекса ожидаешь более профессионального подхода. Техподдержка курса постоянно кормит завтраками:


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Вот и выходит, что аж с апреля-месяца 7 человек из компании не могут получить заветный сертификат, при этом 10 сотрудников уже среди его обладателей. Одно непонятно, вроде сертификат электронного вида, так в чем же заключается сложность отправки? Надеюсь ребята из Яндекса это увидят и смогут предоставить ответ.

PS: Пока писал статью, Яндекс все-таки прислали сертификаты, но не всем. Только опять не ясно, в чем причина столь долгой задержки. Когда открыл серт, был удивлен, что он подписан 02.06.2022, а получил 28.06.2022:


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Пожалуй, на этом с обзором курса заканчиваю, и если говорить субъективно, то этому  курсу явно не хватает куратора, который хотя бы раз в полгода следил за актуальностью всего курса. Курс рекомендовал бы пройти тем, кто хочет познакомиться с облачной инфраструктурой Яндекса, а также джунам, которые только начинают втягиваться в сферу DevOps.

Присоединяйтесь к нашему telegram-сообществу DevOps FM – там мы публикуем полезные новости и статьи по теме DevOps (и не только).

Сервис онлайн-образования Яндекс. Практикум совместно с Yandex. Cloud запустил курс «Инженер облачных сервисов Yandex. Cloud». Курс подойдет разработчикам, администраторам и DevOps-инженерам с небольшим опытом работы, которые только начинают свой путь в работе с облачными сервисами и планируют освоить базу, чтобы работать над крупным проектом, инфраструктура которого сложнее, чем одна виртуальная машина с веб-сервером.

Вы научитесь применять управляемые базы данных и контейнеры, изучите принципы построения отказоустойчивого сервиса, попробуете cloud-native разработку. Обещаем, будет много практики в облаке.

Программу создала команда Yandex. Cloud: разработчики, архитекторы, партнёры платформы и специалисты по обучению. Практические задания подготовлены на основе реальных проектов и типичных сценариев.

Выпускники получат сертификат о дополнительном образовании.


ОБЛАЧНЫЕ ТЕХНОЛОГИИ ПРАКТИКУМ

Чему вы научитесь

От вас понадобятся знания о базах данных, системном администрировании и сетях, а также навыки программирования на Python, чтобы изучить принципы cloud-native разработки.

Как устроено обучение

С первого дня студенты учатся на практике в собственной среде обучения. Курс разбит на небольшие уроки с контрольными вопросами и практическими заданиями: это поможет лучше усвоить материал.

Каждый студент получит 10 000 рублей на выполнение практических заданий в облаке.

Детали

Обучение бесплатное. Программа длится два месяца, необходимо уделять минимум один час в день. Первый курс уже доступен на платформе, остальные появятся позже.

Полная программа и подробности курса — на сайте.

Про урокцифры:  Как начать знакомство с цифрой два?

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *