Уровни автопилота
В зависимости от того, что машина умеет делать сама, инженеры разделили автопилот на 6 уровней:
Level 0 — автопилота нет, водитель всё делает сам. Газель-маршрутка — это как раз машина с автопилотом Level 0.
Level 1 — помощь водителю. Автомобили такого уровня могут сами ускоряться или тормозить. Если на машине установлен круиз-контроль — это Level 1. Сюда же можно отнести некоторые системы автопарковки, когда водитель нажимает кнопку, а машина сама паркуется в сложном месте.
Level 2 — начальный уровень. Здесь машина уже может сама ехать, тормозить и ускоряться, но в разных ситуациях она сразу передаёт управление водителю. Первые Теслы умели как раз вот так.
Level 3 — средний уровень. Машина справляется почти со всеми ситуациями, но водитель всё равно нужен, чтобы среагировать, если что-то пойдёт не так. Сейчас это стало стандартом, и большинство беспилотных машин так умеют.
Level 4 — высокий уровень. В теории тут уже можно отпустить руль — машина сама со всем справится, а если нет — просто остановится. Но на практике водитель всё равно нужен — мало ли что, вдруг машина не сможет правильно среагировать и передаст управление. Самые современные беспилотники — здесь, их работу мы и будем разбирать.
Level 5 — полный автопилот. Можно ездить не держась за руль, можно сесть на пассажирское сиденье или вообще убрать руль из машины. Так пока никто не умеет, кроме робокаров-грузчиков на складах и закрытых площадках, где нет людей.
Лидар
Лидар — это более крутая версия радара, построенная на лазерах. Вместо радиосигнала лидар посылает лазерные лучи и моментально узнаёт точное расстояние до объекта:
Но главный плюс лидара в том, что он позволяет строить трёхмерную модель окружающего пространства с точностью ±1 сантиметр. Для этого лидар сканирует пространство 50—100 раз в секунду, совмещает данные и формирует трёхмерное изображение:
Пример работы лидара с дрона
Алгоритмы принятия решений
Это самый важный компонент в любой беспилотной машине — от него зависит, что будет делать машина в любой ситуации:
Для этого используются линейные алгоритмы, нейросети и самообучающиеся алгоритмы — они обрабатывают огромный поток данных со всех радаров, камер и датчиков и принимают решение, что делать дальше. Это позволяет избежать аварии в сложных ситуациях — посмотрите на эту подборку, где автопилот спасает жизни водителей, пешеходов и даже животных:
Но если с такими ситуациями компьютер уже справляется, то с остальными всё пока сложно. И это нас приводит к моральной проблеме беспилотных машин.
Что в сердце у беспилотника?
Время на прочтение
Автомобильная промышленность сегодня претерпевает революцию автономного вождения. Беспилотный автомобиль может обеспечить более высокий уровень безопасности пассажирам, поскольку управление им лишено человеческого фактора. Широкое распространение беспилотных автомобилей в будущем сократит количество ДТП, а также сэкономит время, которое люди ежедневно тратят на вождение.
OSCAR (Open-Source CAR) – это исследовательский проект беспилотного автомобиля StarLine с открытым исходным кодом, объединяющий лучшие инженерные умы России. Мы назвали платформу OSCAR, потому что хотим сделать каждую строчку кода, касающуюся автомобиля, открытой для сообщества.
Анатомия платформы
Как пользователь транспортного средства, автовладелец хотел бы добраться из точки А в точку В безопасно, комфортно и вовремя. Пользовательские истории разнообразны, начиная с поездки на работу или за покупками и заканчивая времяпровождением с друзьями или семьей без постоянной необходимости следить за дорогой.
Поэтому самый верхний уровень платформы – это пользовательские приложения и среды. Мы рассчитываем на три группы пользователей: индивидуальные пользователи, коммерческие, а также разработчики платформы. Для каждой из этих групп сегодня мы проектируем отдельный интерфейс. Второй уровень – это серверная часть, включающая карты высокого разрешения, модуль симуляции, а также API, обслуживающие автомобиль. Уровень программного обеспечения — это создание программ, которые будут встроены в автомобиль. И два нижних уровня платформы – работа на самом автомобиле, которая подразумевает исследование цифрового интерфейса самой машины и установку оборудования.
Автомобиль
CAN-шина – это стандарт промышленной сети, а также система цифровой связи и управления электрическими устройствами автомобиля. Автомобильные устройства подключаются к CAN-шине параллельно для отправки и приема данных. Имея доступ к этому цифровому интерфейсу, можно, например, включать двигатель, открывать двери, складывать зеркала автомобиля с помощью управляющих команд.
Чтобы контролировать ускорение и рулевое управление автомобилем, нам нужно было получить доступ к CAN-шине и понять соответствующие типы пакетов. Н ПО СтарЛайн является производителем электронных устройств, поэтому мы разработали собственный адаптер шины CAN.
В настоящее время мы можем рулить, тормозить и ускоряться с помощью ноутбука.
Оборудование
Важная область работ – это оснащение автомобиля датчиками и сенсорами. Существует ряд подходов к оборудованию беспилотного транспортного средства. Например, некоторые компании используют дорогостоящие лидары, в то время как другие отказываются от них, ограничиваясь показаниями других приборов.
Сейчас беспилотный автомобиль StarLine оборудуется несколькими моно- и бинокулярными камерами, радарами, лидарами, а также спутниковой навигацией.
Задача GPS-приемника — определить свое местоположение в пространстве, а также точное время. Гражданские GPS приемники имеют недостаточную точность для позиционирования беспилотного автомобиля, погрешность может составлять до несколькихметров. Это происходит как из-за переотражения сигнала от стен зданий в условиях городской среды, так и из-за плохо предсказуемых естественных факторов, например, изменения скорости сигнала от спутника в ионосфере Земли.
Для позиционирования беспилотного автомобиля ошибка гражданского GPS-приемника слишком велика, и поэтому в своей разработке мы используем сверхточную спутниковую навигацию. Для этого на автомобиль был установлен GNSS RTK приемник, который использует более совершенные техники позиционирования и, таким образом, достигает сантиметровой точности позиционирования только за счет спутниковой навигации.
Но во время движения автомобиль может оказаться в тоннеле или под мостом, где сигналы от спутников слишком слабы либо отсутствуют вовсе. Из-за этого точность GNSS-RTK приемника упадет, либо позиционирование окажется вовсе невозможным. В этих случаях автомобиль будет уточнять свое положение, используя показания одометра и акселерометра. Такие алгоритмы, которые объединяют данные с нескольких разнородных источников, чтобы уменьшить неопределенность, называются алгоритмами sensor fusion.
Кроме задачи локализации беспилотного автомобиля необходимо также иметь представление о динамических препятствиях, которых нет на карте, например, движущиеся рядом автомобили или перебегающий дорогу человек. Для этих целей беспилотный автомобиль использует данные радаров и лидаров. Радар использует радиоволны для обнаружения препятствий, а также, благодаря допплер-эффекту, позволяет вычислить их радиальные скорости. Лидар – это активный оптический дальномер, который постоянно сканирует окружающее пространство и формирует его трехмерную карту, так называемое облако точек.
Каждое устройство, которое используется в беспилотном автомобиле (от камеры до блока RTK GNSS), нуждается в настройке, прежде чем его можно будет установить.
Программное обеспечение
На самом крупномасштабном уровне программное обеспечение беспилотника состоит из нескольких модулей, среди которых: распознавание, планирование, локализация и контроль.
Данные с камер используются для распознавания и детектирования объектов, радары получают координаты и скорости окружающих объектов, лидары снабжают алгоритм облаком точек, а модуль GNSS RTK использует спутниковые данные для локализации автомобиля.
Затем данные из первых трех источников объединяются для получения информации о препятствиях рядом с автомобилем.
В то же время, как спутниковые, так и лидарные показания используются для решения проблемы SLAM, которая означает одновременную локализацию и построение карты местности. Это подход для создания карты неизвестной среды с отслеживанием местоположения объекта в ней. Эта информация используется для расчета 6 координат автомобиля, которые включают в себя три пространственные координаты и трехмерную скорость.
Следующим шагом осуществляется планирование локальной траектории транспортного средства. Последний шаг — это модуль управления, который используется для фактического выполнения траектории, построенной во время построения трека.
К настоящему времени мы заняты настройкой и установкой оборудования и также работаем над модулем управления автомобилем.
Облако
Серверная часть состоит из четырех блоков:
Сначала нам понадобится хранилище для карт, чтобы правильно локализовать автомобиль, а также сервис телеметрии для анализа данных. Это наша ранняя схема архитектуры сервера, которая включает в себя два блока. Позже мы расширим его с помощью API команд, чтобы иметь возможность отправлять команды управления на автомобиль с сервера. Мы также добавим модуль симуляции.
HD-карты — это карты, которые предлагают полное представление о реальном мире с точностью до сантиметра, включая все, что имеет отношение к дорожной инфраструктуре, например, информацию о полосах, знаках, положению светофоров. Карта также может содержать лидарные данные, чтобы обеспечить беспилотнику возможность локализоваться по ним.
Симуляторы необходимы для генерации дорожных ситуаций для отладки и тестирования. С помощью моделирования дорожных ситуаций мы сможем повысить робастность наших алгоритмов, проводя модульное тестирование на произвольном числе миль настраиваемых сценариев и редких условий, за часть времени и затрат, которые потребовались бы для тестирования на настоящих дорогах.
Дорожная карта
В июле мы начали с разработки концепции, создали команду и начали путь к прототипу А. Прототип А — это автомобиль, который способен двигаться по путевым точкам, но требует вмешательства оператора для объезда препятствий. Прототипом Б, разработку которого планируем закончить к весне 2019 года, является автомобиль, способный обходить препятствия без контроля водителя.
Так что же у беспилотника в сердце?
В основе автоуправляемого автомобиля лежат продвинутые алгоритмы, потоки данных, высокопроизводительные интерфейсы и сложное оборудование. Кроме того, автомобиль нуждается не только в аппаратном и программном обеспечении, но и в серверных и клиентских приложениях. Это технологическое сердце открыто, и мы полагаемся не только на инициативу команды StarLine, но также на помощь open-source сообщества.
Главной задачей беспилотного автомобиля StarLine является стремление сделать жизнь людей комфортнее и безопаснее. Технологии важны для нас, но мы считаем, что технологические и научные знания существуют для того, чтобы служить людям, и таково настоящее сердце нашего начинания. Мы приближаем день, когда безопасность на дороге будет обеспечиваться оборудованием, а у людей будет возможность посвящать больше времени тому, что для них важно. И если вы разделяете нашу точку зрения, то мы рады пригласить вас присоединиться к нам в создании технологий завтрашнего дня.
Что нужно для работы беспилотного авто
Чтобы превратить обычную машину в беспилотную, в неё нужно установить дополнительное железо и алгоритмы:
Инженеры чаще всего так и делают — берут серийный автомобиль, навешивают на него всё это железо и ставят внутрь компьютер для обработки сигналов и команд.
Беспилотный автомобиль Яндекса на базе серийной Тойоты. На крыше видны основные датчики, но это не всё, что нужно, чтобы машина стала беспилотной
Seagate объединяет усилия с AutoX
Наконец, позвольте рассказать об одном практическом примере из сферы беспилотных автомобилей. Seagate решила объединить усилия с компанией AutoX, занимающейся системами автономного вождения. Цель заключается в создании частного облака для быстрой обработки больших объемов данных, генерируемых во время тестирования беспилотных автомобилей.
Как мы уже неоднократно отмечали, беспилотные автомобили создают значительные объемы данных, получаемых со своих сенсоров. Seagate предоставила AutoX полное решение по созданию частного облака на основе систем Seagate Exos E 5U84. В результате повысилась скорость и эффективность обработки данных.
В июле 2020 года AutoX получила разрешение от калифорнийского Департамента транспортных средств, позволившее начать тесты беспилотных автомобилей на обычных дорогах в выделенном районе Сан-Хосе (Калифорния, США). Кроме того, компания управляет парком роботакси в Шэньчжэне и Шанхае. В апреле 2020 компания открыла операционный центр роботакси в Шанхае площадью 7400 м², ставший самым большим хабом беспилотных автомобилей в Азии.
Данные — новая нефть
Для беспилотных автомобилей данные имеют такое же значение, как бензин с электричеством, не зря их называют «новой нефтью». Каждое роботакси генерирует порядка 1 Тбайт данных в час, что даже превышает прогнозы аналитиков. Сто роботакси AutoX дают уже петабайты данных ежедневно. И все эти данные следует анализировать и обрабатывать при получении как можно быстрее.
Передача и хранение всех данных в публичных облаках приводит к задержкам, что замедляет обработку и анализ данных, увеличивает расходы. Как можно видеть в отчете Seagate «Rethink Data», компании все чаще решают хранить данные в частных облаках.
«Для обработки огромных объемов информации AutoX требуется надежная архитектура данных, — сказал доктор Джан Вей Пан, вице-президент подразделения Technology and Partnerships в AutoX. — Мы должны учитывать не только такие факторы, как цену, производительность и емкость, но и обрабатывать и хранить ценные данные с максимальной скоростью».
Быстрая обработка, низкая стоимость владения
Чтобы удовлетворить потребности AutoX по хранению и обработке данных, Seagate разработала и построила периферийное частное облако, успешно вписавшееся в инфраструктуру хранения данных AutoX; многие задачи, которые ранее выполнялись в окружении публичного облака, теперь перешли на периферию. Данные с испытаний и тестов, например, теперь можно быстро загрузить в периферийное частное облако, которое отличное справляется с обработкой частых запросов к крупным массивам информации.
Решение Seagate соответствует потребностям AutoX по быстрой обработке данных и вместе с тем уменьшает совокупную стоимость владения (TCO). Но данные, которые обрабатываются на периферии, рано или поздно мигрируют в публичное облако для архивации и резервирования.
Для построения дата-центра с частным облаком Seagate использовала решение на основе Exos E 5U84, серверов и распределенной системы хранения данных Ceph. Seagate Exos E 5U84 может хранить до 1,1 петабайт данных, при этом обеспечиваются мощные возможности интеграции, повышающие эффективность использования частного облака. Благодаря высокой плотности хранения данных и производительности, система позволяет уменьшить совокупную стоимость владения. Масштабируемая архитектура обеспечивает рост вместе с бизнесом — до 336 накопителей. Что поможет AutoX справиться с растущими объемами собираемых данных в будущем. Причем данное решение можно быстро реплицировать, что соответствует планам AutoX по расширению парков роботакси в Шанхае, Шэньчжэне, Ухани и многих других городах.
«AutoX – отличный пример лидера индустрии IT 4.0, который вдохновил нас поставить более мощные системы хранения данных, способные быстрее справиться с анализом информации и выдачей вариантов действий, что позволяет как можно быстрее принимать решения и выходить из критических ситуаций, — сказала Санди Сан, вице-президент Seagate и старший менеджер по Китаю. — Мы рады партнерству с AutoX, поскольку компания продолжает внедрять инновации, будущее беспилотных автомобилей становится все ближе к реальности».
Радиоуправляемый автомобиль. Дейтон, штат Огайо, 1921 год.
С 1942 года немцы использовали гусеничные самоходные мины «Голиаф». « Голиаф» — это небольшое гусеничное транспортное средство, несущее 60 кг взрывчатки и управляемое оператором через кабельную линию связи. Его прототипом послужил миниатюрный французский гусеничный транспорт, обнаруженный немцами после разгрома Франции в 1940 году. Большая стоимость, низкая скорость, зависимость от кабеля для управления и слабая защита от оружия обусловили недостаточную эффективность Голиафа.
Первые заметные работы по разработке мобильных роботов берут начало в 1960-х годах. В результате исследований DARPA был создан робот Shakey. Shakey располагался на колесной платформе и был оснащен телекамерой, датчиками и компьютером, которые вместе обеспечивали управление навигационными задачами для перемещения деревянных блоков по команде оператора.
За несколько лет до событий на Чернобыльской атомной электростанции в производственном объединении «Сибцветметавтоматика», в Красноярске под руководством Михаила Царегородцева разрабатывалась радиоуправляемая автоматическая система для тракторов-бульдозеров, её готовили для использования при производстве работ в опасных условиях, чтобы не подвергать опасности жизнь человека при разработке горных выработок и строительстве тоннелей, сопряженных с возможными обрушениями породы, в том числе, предполагались и другие случаи для её применения. И такой трагический случай наступил в Союзе ССР произошла авария на ЧАЭС. Инженеры и специалисты производственного объединения «Сибцветметавтоматики» одними из первых выехали в Чернобыль. А с Челябинского тракторного завода в зону бедствия были отправлены бульдозеры. Специалисты «Сибцветметавтоматики» в кратчайшие сроки времени оборудовали семь тяжёлых бульдозеров марки ДЭТ-250 системой радиоуправления, что позволило производить расчистку зараженной территории вокруг ЧАЭС в местах с высокой радиацией без участия тракторист-машинистов.
Гражданские и коммерческие программы
Автономные автомобили Navlab. NavLab 1 (крайний слева) разрабатывался с 1984 по 1986 гг. Navlab 5 (крайний справа), законченный в 1995 году, стал первым автомобилем, который автономно проехал от одного побережья США до другого.
Беспилотный автомобиль
Что же необходимо для автономного вождения? Ответ на этот вопрос зависит от того, что мы подразумеваем под «автономностью». Системы автономного вождения не стоят на месте и постоянно совершенствуются, и сегодня различают несколько уровней беспилотного автомобиля.
Конечно, большинство автомобилей на дорогах не оснащены системами автономного вождения. У некоторых есть базовые системы помощи водителю, например, контроль устойчивости. Другие предлагают многоуровневые системы, справляющиеся с более сложными задачами. Здесь можно отметить удержание полосы движения вместе с круиз-контролем, что весьма полезно при движении по магистралям. Беспилотные автомобили, которые начинают появляться на дорогах, берут на себя все функции вождения и безопасности при некоторых условиях (например, в пробках), но водитель должен быть готов взять управление на себя. На улицах пока еще нет полностью беспилотных автомобилей, где водитель отсутствует. Но когда они появятся, компьютеру достаточно будет сообщить место назначения и предпочтения по навигации.
Система глобального позиционирования (GPS) позволяет автомобилю узнать, где он находится. Сегодня приемники GPS встроены во многие SoC, благодаря вычислительным ядрам они обеспечивают быстрый и точный поиск положения автомобиля. Для вычислений используются данные, как минимум, четырех спутников. Некоторые чипы GPS, такие как Linx Technologies F4 Series GPS Receiver Module, могут одновременно принимать сигналы до 48 спутников. Данные о перемещении автомобиля передаются на периферийные серверы, где они используются для дальнейшего анализа.
Беспилотный автомобиль в любой момент времени должен знать свое точное местоположение, а также оценивать ситуацию вокруг. Несколько камер обеспечивают обзор окружения на все 360 градусов. Каждая камера дает двумерные кадры, то есть массив пикселей, где к каждому пикселю привязана информация цвета и яркости. И здесь как раз стоит упомянуть весьма интересные инновации.
MIT ShadowCam способна заглянуть за угол
Развитие технологий искусственного интеллекта и глубокого обучения, позволяет выполнить исчерпывающий анализ изображений, в том числе отслеживать объекты по информации нескольких камер и анализировать положение пешеходов и велосипедистов. Исследователи MIT анонсировали систему «ShadowCam», которая использует технологии компьютерного видения: анализируются малейшие изменения яркости, позволяющие определить тени на поверхности земли, едва различимые человеческому глазу. Технология позволяет беспилотным автомобилям буквально «заглянуть за угол», определяя приближающиеся объекты, которые потенциально могут вызывать столкновение.
Загрязнение камер, слабое освещение и плохая видимость снижают качество данных с камер, здесь на помощь приходит лидар (LIDAR, Light Detection and Ranging), собирающий информацию о ближайшем окружении автомобиля. Лидар применяет лазерные импульсы для измерения расстояний до объектов, в итоге создается трехмерная карта, позволяющая анализировать окружение автомобиля. Все эти вычисления должны выполняться бортовым компьютером, чтобы мгновенно принимать необходимые решения. Для захвата и хранения данных трехмерной карты объектов и потоков с нескольких камер требуется достаточная емкость на периферии.
Что дальше?
Мы становимся свидетелями того, как беспилотные автомобили медленно появляются на наших дорогах. Вряд ли в следующие 5 лет мы увидим их как массовое явление: ни алгоритмы, ни инфраструктура еще не доросли. Однако, с приходом V2V/V2I возможно появятся специальные зоны беспилотного транспорта, где можно будет вызвать привычный Uber/Яндекс и доехать за полчасика на беспилотнике до работы.
Renovo и Seagate объявили о сотрудничестве
Второй практический пример касается начала сотрудничества Renovo и Seagate по эффективной обработке огромных массивов данных, которые генерируют беспилотные автомобили. Компания Renovo уже давно занимается разработкой масштабируемой платформы автономного вождения. Будучи лидером в своей сфере, она выбрала в партнеры компанию Seagate, специалиста систем хранения данных.
«Быстрая идентификация ценных данных и передача их в руки тех, кому они необходимы, является серьезной проблемой, стоящей перед индустрией беспилотных автомобилей, — сказал Кен Клэффи, вице-президент Seagate, старший управляющий направления решений корпоративного класса для хранения данных. — Компетенция Renovo в автомобильной сфере и системах обработки данных обеспечивает уникальную конвергенцию, позволяющую приблизиться к решению данной проблемы для флотов беспилотных автомобилей».
Как мы отмечали выше, беспилотные автомобили генерируют очень большие объемы данных, которые не получится перекачивать в реальном времени в облако. Поэтому ключ кроется в обработке данных бортовым компьютером, что вписывается в концепцию периферийных вычислений.
Renovo уже давно разрабатывает платформу Aware, сотрудничество позволит Renovo использовать системы хранения данных Seagate во всех сферах, касающихся автономного вождения.
«Seagate предлагает широкий набор решений для хранения данных, генерируемых беспилотными автомобилями, — сказал Крис Хейзер, главный исполнительный директор Renovo. — Мы рады работать с лидером индустрии Seagate, чтобы интегрировать лучшие технологии хранения данных в критические важные сферы автономного возждения».
Платформа Renovo используется во многих беспилотных автомобилях, в том числе Voyage.auto. Seagate присоединилась к экосистеме Renovo вместе с растущим числом других технологических партнеров, в том числе Samsung, Verizon, HERE, Velodyne LiDAR, Parsons, INRIX, Argus Cyber Security, Seoul Robotics, Affectiva, Phantom Auto, Metamoto, Understand.ai, NIRA Dynamics, Bestmile и т.д. Посмотрим, какие плоды принесет сотрудничество двух лидеров в будущем.
Ключевые игроки рынка
Большинство автопроизводителей осознали что будущее за беспилотным транспортом и ринулись открывать новые отделы и покупать стартапы. Кроме автопроизводителей в гонке участвует не только множество стартапов, но также и IT-гиганты вроде Google, Яндекс и Apple. Вот самые основные.
General Motors
Будучи одним из ведущих автопроизводителей, GM потратил кучу денег чтобы удержаться в лидерах беспилотных авто. В 2016-ом, приобрел стартап Cruise Automation, занимавшийся разработкой беспилотника, за более чем 1 миллиард долларов. В Cruise суммарно влили $2.25 миллиарда инвестиций от SoftBank и $1.1 миллиард от GM в 2018-ом. Чтобы еще больше доминировать на рынке автономии, GM также приобрел производителя лидаров. G M тестирует свои беспилотники в Сан Франциско с планами расширения на Нью-Йорк. Первые коммерческие поездки беспилотников запланированы на 2019 год.
5G как ключ к успеху беспилотных автомобилей
Наш беспилотный автомобиль может получать информацию о пешеходах и велосипедистах не только опираясь на свои сенсоры, но и благодаря обмену данными с другими машинами, светофорами и прочими объектами городской инфраструктуры. Звучит нереально, но именно такую демонстрацию могли увидеть посетители муниципалитета Оспиталет (провинция Барселона) в рамках проекта автомобиля, подключенного по 5G.
Автомобили Ateca и Arona, изготовленные Seat, использовали сеть оператора Telefonica 5G и технологию Ficosa C-V2X (Cellular Vehicle-to-Everything) для обмена информацией с другими машинами, велосипедистами и даже светофорами. Последние оснащены тепловизорами, которые определяют пешеходов, приближающихся к переходу, в результате на приборной панели автомобиля появляется соответствующее предупреждение. Велосипедисты, подключенные к сети, информируют о своем местоположении, что предотвращает опасные ситуации. В случае плохой видимости у припаркованных автомобилей автоматически включится «аварийка», они будут оповещать все приближающиеся автомобили о своем положении.
Как ускорить внедрение автономного вождения?
«Мультигигабитные скорости 5G, распределенные периферийные сети и сервисы с низкими задержками позволят автономному вождению стать реальностью в ближайшие годы, — сказал Крис Пенроуз, президент подразделения IoT в AT&T. — 5G даст необходимые возможности по распределению обрабатываемых данных, чтобы соответствовать и превышать потребности беспилотных автомобилей».
Пенроуз совершенно прав. Беспилотные автомобили без подобных возможностей обработки данных не смогут выполнять многие задачи быстрее человека. Например, определять появление пешехода на ближайшем переходе. Причем задержки должны быть минимальные, поскольку опоздание даже на долю секунды может привести к аварии.
Интеграция 5G идет полным ходом
Неудивительно, что крупные производители автомобилей, такие как Audi, BMW, Daimler, Ford, Hyundai и Toyota, интегрируют технологии 5G в свои продукты.
Возьмем для примера Ford. Компания к 2022 году планирует оснащать все выпускаемые в США автомобили технологией связи CV2X на основе 5G. « Миллиарды долларов уже потрачены сотовыми операторами на создание сетей 5G, поэтому нам кажется, что настал подходящий момент, чтобы наши транспортные средства получили ряд умений, которые будут полезны в повседневной эксплуатации», сказал Дон Батлер, исполнительный директор Ford Connected Vehicle Platform and Product.
Компания Daimler, производитель люкс-авто Mercedes-Benz, вместе с крупнейшим своим акционером Zhejiang Geely Holding Group планирует собирать полностью электрические автомобили Smart компактного класса в Китае на экспорт. Они тоже будут оснащаться поддержкой 5G. Первые автомобили планируется выпустить в 2022 году. А Hyundai Mobis, производитель запчастей в составе Hyundai Motor Group, объявил о партнерстве с телекоммуникационной компанией KT по совместной разработке технологий подключенных к 5G автомобилей.
Телекоммуникационные компании не стоят в стороне. Audi является одним из основателей ассоциации 5G Automotive Association (5GAA), созданной для взаимодействия представителей телекоммуникационной индустрии и автопроизводителей. Audi планирует выпустить подключенные к 5G автомобили в ближайшем будущем, чему способствует сотрудничество с такими телекоммуникационными компаниями, как Huawei, которая ранее объявила о том, что стала первым производителем компонентов 5G для беспилотных автомобилей. Huawei надеется на большие продажи фирменного модуля 5G.
Но это еще не все. Несколько телекоммуникационных компаний создали бутафорские города для тестов беспилотных автомобилей. Samsung, например, совместно с Korea Transportation Safety Authority строит K-city В Корее с декорациями для проверки беспилотных автомобилей и подключения 5G в условиях, близких к реальным дорогам, перекресткам и туннелям.
Необходима инфраструктура 5G
Все эксперименты с подключенными к 5G беспилотными автомобилями зайдут в тупик, если не будет создана инфраструктура 5G. Каждый день беспилотный автомобиль может генерировать от 5 до 20 Тбайт данных, поэтому для их передачи должна быть готова мобильная сеть.
Большая часть данных, генерируемых многочисленными сенсорами автомобиля, должна обрабатываться непосредственно бортовым компьютером и расположенными рядом дата-центрами, что вписывается в концепцию периферийных вычислений. Данные поступают не только от автомобилей, но также от других источников, таких как светофоры. В конечном итоге совокупность технологий позволяет беспилотным автомобилям определять объекты вокруг и вовремя реагировать на меняющуюся обстановку.
Ценность собираемых данных
Конечно, не все типы данных требуют немедленной обработки, да и у бортового компьютера все же производительность ограниченная, как и накопители. Поэтому данные, которые могут «потерпеть», следует накапливать и анализировать в периферийных дата-центрах, часть данных при этом будут мигрировать в облако и обрабатываться там.
Сфера ответственности городских властей и автопроизводителей заключается в захвате, обработке, передаче, защите и анализе данных о каждом автомобиле, пробке, пешеходе, бордюре или ямке. Некоторые архитекторы умных городов уже экспериментируют с алгоритмами машинного обучения, которые более эффективно анализируют данные движения, чтобы быстро определять ямки и выбоины на дороге, регулировать дорожное движение, мгновенно реагировать на аварии. В глобальном ракурсе алгоритмы машинного обучения дают рекомендации по улучшению городской инфраструктуры.
Как считает Брукс Райнвотер, директор Center for City Solutions в National League of Cities, данные, генерируемые беспилотными автомобилями, предоставят городу «более скрупулезный обзор всего, от износа инфраструктуры до подобной информации о дорожном движении и самых нагруженных участках».
Тестирование беспилотных автомобилей происходит в различных режимах, которые можно разделить на три основные группы:
На данный момент одним из способов оценить готовность технологии являются примеры её применения для бизнеса, в частности в сервисах роботакси. Дополнительным способом оценки может являться степень участия человека в управлении автомобилем роботакси:
На данный момент публично доступные сервисы роботакси есть у следующих компаний:
Как работают беспилотные автомобили
Чтобы приехать в пункт назначения, беспилотный автомобиль должен знать маршрут, понимать окружающую обстановку, соблюдать ПДД и корректно взаимодействовать с пешеходами и другими участниками дорожного движения. Чтобы соответствовать этим требованиям, беспилотник использует следующие технологии:
Как обрабатывать данные на периферии в тысячи экзабайт?
Для развития полностью автономного вождения необходимо решить проблему обработки и хранения огромных массивов данных. Каждый день беспилотный автомобиль может генерировать от 5 до 20 Тбайт данных. Всего один автомобиль! Только в США сегодня насчитывается больше 270 млн. автомобилей, что в будущем может привести к гипотетическому объему 5.449.600.000 Тбайт (или 5.449 экзабайт) — и это только в один день и только в США! Для хранения таких данных необходима высокопроизводительная, гибкая, защищенная и надежная периферийная инфраструктура. Затем возникает проблема эффективной обработки данных, что тоже весьма непросто.
Чтобы бортовой компьютер мог принимать решения в реальном времени, ему требуется самая свежая информация по окружающей обстановке. Старые данные, такие как информация о расположении автомобиля и скорости час назад, обычно уже не нужны. Однако эти данные полезны для дальнейшего улучшения алгоритмов автономного вождения. Разработчики систем на основе искусственного интеллекта должны получать большие массивы данных, чтобы тренировать сети глубокого обучения: определять объекты и их движение по камерам, информации лидара, оптимально сочетать информацию об окружении и инфраструктуре, чтобы принимать решения. Специалистам по безопасности дорожного движения очень важны данные, собранные автомобилями непосредственно до аварий или опасных ситуаций на дороге, например. Здесь вновь встает вопрос обработки данных на периферии, который остается очень важным звеном для совершенствования автономного вождения.
По мере того, как данные собираются беспилотными автомобилями и передаются от них на периферийные дата-центры, после чего мигрируют в облачные хранилища, все более актуальным становится вопрос использования оптимизированной и многоуровневой архитектуры хранения данных. Только она позволит максимально эффективно использовать огромные объемы данных. Свежие данные должны сразу же анализироваться для улучшения моделей машинного обучения, здесь требуется высокая пропускная способность и низкие задержки, для этой цели лучше всего подходят SSD и высокоемкие накопители HAMR с поддержкой технологий нескольких приводов головок.
После того, как данные пройдут этап анализа, они должны быть сохранены, но уже более эффективно: на высокоемких и недорогих традиционных хранилищах nearline. Подобные серверы хранения хорошо подходят в том случае, если данные могут потребоваться в будущем, но частого доступа к ним не планируется. Старые данные, которые вряд ли потребуются, но должны храниться по каким-либо причинам, можно переводить на уровень архивации.
Данные все чаще будут обрабатываться и анализироваться на периферии, что знаменует наступление эпохи IT 4.0, в которой меняется подход к использованию данных. Периферийные вычисления позволят обрабатывать данные рядом с местом их сбора, а не в облачном сервере, что позволит анализировать их намного быстрее, немедленно реагируя на изменения ситуации. Терабайты данных, обрабатывающиеся каждый день, скоростная сеть обмена информацией между автомобилями и периферийными дата-центрами помогут сделать автономное вождение более безопасным и надежным.
Коммерческие проекты в настоящее время
Также есть несколько крупных программ по разработке беспилотного автомобиля, включая программу Европейской Комиссии с бюджетом в 800 млн евро, программу 2getthere в Нидерландах, исследовательскую программу ARGO в Италии, соревнование DARPA Grand Challenge в США.
Основная статья: Waymo
В декабре 2016 проект был выделен в отдельную компанию Waymo, дочернюю компанию Alphabet.
Aptiv (ранее Delphi Automotive)
В сентябре 2019 года власти Шанхая выдали первые в стране разрешения на осуществление пассажирских поездок в автономных автомобилях, что стало одним из шагов Китая по ускорению коммерциализации автономного вождения.
Беспилотные автомобили Яндекса
Беспилотные автомобили СтарЛайн
СтарЛайн — российский разработчик систем безопасности для автомобилей, головной офис которого находится в Санкт-Петербурге. Компания разрабатывает собственный беспилотный автомобиль с 2016 года. В качестве платформы для испытания разрабатываемых алгоритмов компания использует автомобиль Skoda Superb.
Алгоритмы компьютерного зрения
Компьютер постоянно распознаёт кадры, поступающие с камер, чтобы найти на них что-то знакомое:
Эта информация потом используется компьютером, чтобы понять — можно тут проехать или нет с соблюдением всех правил дорожного движения.
Как «видит» машина окружающий мир — зависит от алгоритма, который там используется:
Компьютер нашёл все припаркованные машины, разметку, шлагбаум и принял решение остановиться
Технология распознавания Nvidia — выделены машины, светофоры и дорожные знаки
Уровень 0. Никакой автоматизации, водитель выполняет всю работу.
Уровень 1, «hands on», «помощь водителю». Водитель и система вместе управляют автомобилем. Пример: водитель рулит, а система регулирует мощность двигателя, сохраняя заданную скорость (круиз-контроль) или регулирует мощность двигателя и управляет тормозом, сохраняя заданную скорость, а при необходимости снижая, чтобы соблюдать дистанцию (адаптивный круиз-контроль). Другим примером является , когда скорость определяется водителем, а руление автоматическое.
Уровень 2, «hands off», «частичная автоматизация». Система полностью управляет автомобилем, осуществляя ускорение, торможение и рулёжку. Водитель следит за ездой и готов вмешаться в любой момент, если система не может правильно отреагировать. Несмотря на название «hands off», такие системы часто требуют от водителя держать руки на руле, как подтверждение готовности вмешаться.
Уровень 3, «eyes off», «условная автоматизация». От водителя не требуется немедленной реакции. Он может, например, писать сообщения или смотреть фильм. Система сама реагирует на ситуации, требующие немедленных действий, таких как экстренное торможение. От водителя требуется готовность вмешаться в течение какого-то ограниченного времени, определённого производителем.
Уровень 4, «mind off», «широкая автоматизация». Отличается от уровня 3 тем, что от водителя не требуется постоянного внимания. Например, он может лечь спать или покинуть место водителя. Полностью автоматическое вождение осуществляется лишь в некоторых пространственных областях (геозонах) или в некоторых ситуациях, например, в пробках. Вне таких мест или ситуаций система способна прекратить вождение и припарковать машину, если водитель не взял управление на себя.
Уровень 5, «steering wheel optional», «полная автоматизация». Никакого человеческого вмешательства не требуется.
Транспорт может управляться удаленно оператором или иметь автономное поведение, также возможно комбинированное управление, когда оператор может вмешаться в автономное поведение.
Guardium используется силами израильских сил обороны для участия в операциях по охране границ.
Робот компании Boston Dynamics разрабатывался как переносчик груза, способный пересекать сложную местность
Роботы Foster-Miller TALON SWORDS оборудованы оружием
БНТС «Леопард Б» компании EuroLink Systems.
Автономный БНТС — это по сути автономный робот, работающий без вмешательства человека, на основе технологий искусственного интеллекта. На основе сигналов датчиков автомобиль формирует понимание окружающей среды, которое затем используется алгоритмами управления для определения действий машины в контексте поставленной задачи. Таким образом, отпадает необходимость в операторе, надзирающим за действиями машины.
Полностью автономный робот способен:
Робот также может самообучаться. Автономное обучение включает в себя способность:
Одним из критических аспектов, которые следует учитывать при разработке вооруженных автономных машин, является различение комбатантов и гражданских лиц. Его неправильная реализация может быть губительной. Это особенно верно в современную эпоху, когда комбатанты во избежание обнаружения часто намеренно маскируются под гражданских. Даже если робот будет распознавать комбатантов с точностью 99 %, количество гражданских потерь может быть катастрофическим. Поэтому отправка полностью автономных машин в настоящий бой маловероятна, по крайней мере, пока не будет разработано удовлетворительное решение.
Преимущества и недостатки
Автомобиль СберАвтоТех проходит испытания вечером в 2022 году.
Датчики погоды
Машине всё время важно знать, в каком состоянии находится дорога, для этого она использует камеру, направленную вниз, и датчики погоды. Например, если идёт дождь, то компьютер вносит поправки в коэффициент сцепления шин с дорогой и пересчитывает возможную скорость движения. Температурный датчик помогает понять, возможен ли гололёд, а от датчика освещённости зависит максимальная скорость — ночью машина будет ехать медленнее, чем днём.
Камеры
Задача камер в беспилотных авто — получать картинку вокруг машины, чтобы с ней могли потом работать алгоритмы распознавания образов. Обычно в машины ставят несколько камер для кругового обзора, камеру для анализа дорожного покрытия и несколько дополнительных камер для увеличения обзора.
Именно от камер и алгоритмов обработки зависит то, как машина будет вести себя на дороге. Дело в том, что вся нынешняя разметка, знаки и сигналы направлены на визуальное восприятие — водитель их видит и принимает правильное решение. Чтобы компьютер мог делать то же самое, ему нужно научиться видеть окружающий мир так, как его видит человек.
В камерах инженеры всё время ищут баланс между качеством картинки и скоростью передачи сигнала. Чем качественнее видео, тем больше битов нужно для кодирования такого потока, а значит, алгоритму нужно больше времени, чтобы получить готовый кадр. Наоборот тоже работает: чем хуже и проще картинка, тем быстрее она попадает в обработку, но точность распознавания там тоже хуже.