Делаем из смартфона websocket-пульт управления радиоуправляемой машинкой
Одной из самых увлекательных сторон работы с микроконтроллерами, лично для меня, является то, что вы можете создать свой собственный аппарат, управляемый по радиоканалу. Есть большое количество разных возможностей для удалённого управления устройствами. В этой же статье мы поговорим о том, как организовать такое управление с помощью микроконтроллера esp32.
В свою бытность, я также как и многие, прошёл путь по созданию разных устройств, базирующихся на модулях HC-05, HC-06:
/>
Источник картинки: www.microsin.net
Однако в данный момент, использование таких модулей представляется нецелесообразным, так как они обладают достаточно высокой ценой, позволяют управлять устройством только по Bluetooth и в то же время требуют наличия внешнего микроконтроллера.
Такая связка была бы целесообразной в начале 2010-х годов, но в настоящее время стоит использовать более современный подход. А если более конкретно, то в качестве микроконтроллера мы возьмём esp32, управлять которым будем с экрана своего смартфона.
Есть разные способы отправки управляющих команд, но, в нашем случае, так как мы рассматриваем способ создания управляемого в реальном времени устройства, то лучше всего использовать передачу команд по протоколу websockets.
Для чего это нужно, вкратце: «нажали на кнопку управления — машинка поехала, отпустили кнопку управления — машинка остановилась» (ну и ещё могут быть всякие плюшки, вроде ответов машинки, отправляемых нам).
Это могут быть не обязательно машинки, это может быть управление различными роботизированными устройствами, что может быть не менее увлекательным.
В этом примере мы разберём только способ передачи команд, реализацию же для конкретных исполнительных устройств, вы сможете разобрать самостоятельно, в зависимости от вашего устройства.
С точки зрения соединения, мы будем подключаться к микроконтроллеру по wifi, где точкой доступа будет выступать наш смартфон (то есть и пультом управления — он же, а управлять будем, соответственно, — машинкой). Поэтому изначально необходимо сконфигурировать и запустить точку доступа на смартфоне, после чего ввести в скетч параметры доступа к ней:
Далее запускаем асинхронный веб-сервер на 80 порту и создаём объект, который будет обрабатывать websocket-ы:
Далее нам необходимо создать веб-страницу, которая будет отображаться у пользователя. Эту страницу мы помещаем в массив index_html.
Как можно видеть, код содержит отдельные блоки, в частности, каскадную таблицу стилей, в которой определяются все шрифты, кнопки, на которые будет нажимать пользователь:
Там же отдельными классами прописываются кнопки:
Для обработки нажатий используется JavaScript код, в котором происходит настройка websocket-ов, а также прописывается реакция на происходящие события:
Кроме того, инициализируется обработчики нажатий кнопок:
и прописывается конкретный сценарий, который будет происходить при начале касания и его окончании (будет вызвана соответствующая функция):
Эта функция, соответственно, посылает определённое сообщение, при произошедшем событии:
Теперь нам нужно создать обработчик сообщений, который будет вызываться, при каждом получении нового сообщения. Как можно видеть, при каждом из событий происходит вывод дежурного сообщения в Serial и запись состояния строковой переменной state. Она нужна для прописывания в дальнейшем логики происходящего. Например: «если мы едем вперёд, и поступило сообщение на поворот влево, то машинка начинает плавно подруливать влево».
Именно здесь, чтобы понимать, что происходит в данный момент, и требуется считывать состояние переменной state:
Как можно видеть, я оставил возможность для прописывания логики событий, так как при каждой конкретной реализации могут происходить различные наборы событий.
Также нам потребуется настроить сервер, который будет отвечать за отслеживание событий клиента: вход в систему, выход из системы, получение данных, получение ошибки, ответ на ping:
Для инициализации протокола websockets создана специальная функция:
Далее, настроим сервер на прослушивание входящих GET-сообщений, и запустим его:
Как мы говорили уже ранее, в рамках нашей системы смартфон выступает в качестве точки доступа, а esp32 — в роли клиента. Запустим монитор COM порта, точку доступа на смартфоне и посмотрим, что из этого получится. Мы видим, что esp32 подключилась к смартфону и получила IP адрес, и отчёт вывелся в COM порт:
Теперь, если мы попробуем обратиться со смартфона по данному адресу, — то мы увидим, как появится сообщение системы, что появился подключившийся websocket client. При каждом нажатии на кнопку, будет появляться соответствующее сообщение, при отпускании кнопки будет появляться сообщение “Stop”. При выключении точки доступа появится сообщение об отключении клиента:
В свою очередь, при загрузке, пульт управления будет таким:
Он выглядит несколько необычно, но это сделано умышленно, чтобы было удобно управлять, при удержании смартфона в горизонтальном положении.
Кстати сказать, при таком способе управления, мы будем ограничены дальностью действия wi-fi. Если же вам потребуется управлять устройством с больших расстояний, то нужно будет изменить схему подключения с такой:
Для этого придётся использовать радиомодули nrf. Использование их совместно с esp32 таит свои трудности, в частности, придётся использовать видоизменённую библиотеку RF24, с целью дать возможность программе использовать программную реализацию SPI, вместо аппаратной. Об этом неплохо рассказано вот здесь.
Ну вот собственно и всё! Код для работы через websockets протестирован и работает. Остаётся только прописать свою реализацию, для нужного типа двигателя/лей.
CxemCAR — Android-управление машинкой по Bluetooth
После приобретения недорогого 7″ китайского планшета и экспериментами с взаимодействием с Arduino по USB и Bluetooth захотелось сделать что-то более серьезное и полезное для своих детей. Так родилась идея сделать машинку с управлением от акселерометра Android-устройства и связи по Bluetooth каналу. До этого я никогда не увлекался робототехникой или РУ управлением, но желание было. Были поставлены три цели:
1. Сделать максимально простое для повторяемости устройство, которое сможет повторить любой начинающий радиолюбитель, айтишник, программист, домохозяйка. Т.е. минимум пайки, ЛУТ и фоторезиста (да простят меня радиолюбители), а основной упор сделать на готовые, дешевые и главное доступные модули, которые без проблем можно приобрести. Хотя конечно ничто не мешает спаять собственную отладочную плату или драйвер двигателей.
2. Проект полностью должен быть Open Source и мультиплатформенным. В качестве железной части использовать все популярные и современные аппаратно-программные платформы: Arduino (Processing), STM32, MSP430, PIC, AVR, .NET Micro Framework и может быть даже Raspberry Pi.
3. Алгоритм управления полностью разработать самому с нуля, не читая при этом заумных книг по роботостроительству, а также сделать его максимально простым. Ну а в дальнейшем, уже можно будет повысить свой скил читая специализированную литературу и сделать более совершенное управление.
Управление машинкой (или гусеничной платформой) осуществляется путем наклона Android-устройства. Т.е. наклонили вперед — машинка едет вперед, наклонили влево — машинка поворачивает на лево, назад — машинка едет назад. Причем скорость движения или поворота зависит от степени наклона устройства. Чувствительность и величина наклона устанавливается в настройках Android-приложения. Данный способ управления достигается за счет доступа из программы к встроенному акселерометру (который сейчас имеется во всех современных Android смартфонах и планшетах).
Реализован также гибридный способ управления: газ — при помощи ползунка на экране, а поворот модельки — при помощи поворота Android-устройства (как виртуальный руль). Для заднего хода — отдельная кнопка.
Предусмотрен и обычный способ управления от кнопок на экране, но он менее функционален и в основном служит для отладки и проверки работоспособности.
В дополнении ко всему, я ради спортивного интереса реализовал и тач управление, т.е. на экране отображается круг, и чем выше двигаете в нем маркер, тем быстрее едет машинка, чуть повели пальцем влево — машинка поворачивает.
Данные обрабатываются и передаются по Bluetooth каналу на контроллер машинки, который в свою очередь через драйвер двигателей управляет моторчиками машинки.
Компоненты
1. Android устройство
Итак, первое что прежде всего потребуется — это любое Android устройство: смартфон, планшет, часы и т.п., желательно с датчиком наклона (акселерометром) и Bluetooth (или возможностью подключения внешнего модуля через USB OTG). Я использовал китайский Ainol Aurora с внешней USB Bluetooth флэшкой. Цена такого устройства на сегодняшний день составляет менее 100$.
2. Шасси для машинки
Также понадобится любое шасси с 2-мя или 4-мя моторчиками. Это может быть как шасси для DIY проектов, так и шасси от старой б/у радиоуправляемой машинки.
Я купил готовое шасси на eBay. Кто еще не знаком с интернет-аукционом eBay, рекомендую для прочтения эту статью: покупка радиодеталей на eBay. Гарантирую, что сэкономите немало денег покупая там, а не здесь у перекупов. Также, можно воспользоваться и другими китайскими магазинами: www.aliexpress.com, dx.com и др. Найти шасси довольно легко, достаточно в поисковую строку вбить одно из словосочетаний: Robot chassis, Robot platform, DIY Car chassis и др. Стоимость варьируется от 20$ до 60$.
При выборе шасси обращайте внимание на питание и мощность двигателей, а также на обороты моторчиков и наличие редуктора. Хотя большинство платформ содержат стандартный 6В моторчик с редуктором.
Для принципа управления описанного в данном проекте, больше всего подходит гусеничная платформа, но т.к. у меня пока что ее нет, я реализовал проект на основе 4WD платформы.
3. Контроллер машинки
Как я уже говорил, проект планируется сделать мультиплатформенным. На текущий момент проект CxemCAR реализован для следующих аппаратных платформ:
- STM32
- Arduino
- .NET Micro Framework
«Мозги» робота не требовательны к быстродействию МК и количеству периферии, необходимый минимум, который должен поддерживать микроконтроллер: 2 ШИМ и UART.
Если вы никогда не имели дело с микроконтроллерами, то я советую вам для начала собрать этот проект на платах Arduino, т.к. во первых они достаточно дешевы (10-15$), а во вторых в сети и на этом сайте полно примеров, мануалов и т.п. Контроллеры STM32 и MSP430 более функциональны, но для новичка будут сложнее в освоении. Ну а для программистов, понравится один из вариантов данного проекта на FEZ Panda II с .NET Micro Framework, где в качестве среды программирования используется Microsoft Visual C# Express. Но нужно учесть, что сами платы FEZ не сильно распространены и купить их проблематично, хотя существует .NET вариант под Arduino форм-фактор под названием Netduino.
4. Bluetooth модуль
В качестве Bluetooth модуля использован дешевый китайский UART модуль HC-06. Подойдут модули вида HC-03, HC-04, HC-05, HC-06, да и вообще любые Serial Bluetooth. Лучше брать с готовыми штыревыми выводами, чтобы не пришлось паять, т.к. расстояние между выводами очень маленькое (см. 1-ой на фото внизу). Стоимость такого модуля на eBay составляет в среднем 5-10$.
Bluetooth модули и работа с ними применительно к Arduino, неплохо описаны в этой статье. Для других контроллеров все практически тоже самое, вот к примеру статья с описанием связи по Bluetooth между STM32 и Android.
5. Драйвер двигателя
В качестве драйвера я использовал специализированную микросхему L298N, которая представляет собой сдвоенный мостовой драйвер двигателей и предназначена для управления DC и шаговыми двигателями. На eBay продаются готовые платы со всей необходимой обвязкой, цена платы составляет 4-5$ и выглядит она приблизительно так:
Подключение к Arduino достаточно подробно описано в этой статье. В нашем проекте для плавного изменения скорости вращения двигателей, мы будем использовать ШИМ (широтно-импульсную модуляцию).
6. Остальные комплектующие
Помимо вышеперечисленных компонентов понадобятся:
— батарейный отсек (4-5 батареек АА) или аккумуляторы, можно использовать к примеру готовые блоки Li-Po аккумуляторов на 7.4В
— соединительные провода
— выключатель питания
— термоусадочная трубка, хомуты и др.
Все это конечно опционально и можно заменить тем, что есть под рукой, к примеру вместо термоусадки использовать изоленту и т.д.
Как видите, себестоимость машинки не так уж и велика, если использовать свое шасси с моторчиками, то выходит около 20-25$ на все, если покупать и шасси, то выйдет уже 45-60$ в зависимости от типа шасси (т.к. диапазон цен на них очень широк).
Вот, что получилось у меня:
Принцип работы
В Android устройстве формируются команды перемещения машинки в зависимости от наклона смартфона/планшета, либо от нажатой кнопки. Все расчеты производятся в Android-приложении, и сразу же вычисляются значения ШИМ для левого и правого двигателей. Приложение обладает гибкими настройками, такими как диапазон ШИМ, чувствительность наклона, минимальный порог ШИМ и др. По Bluetooth передаются команды вида:
L-255\rR-120\r
L — команда для левого двигателя, R — для правого
минус обозначает вращение двигателя для движения назад
255 — число ШИМ, для Arduino это максимальная скорость вращения
\r — конец команды.
По данной команде машинка будет двигаться назад и немного поворачивать в правую сторону, т.к. правый двигатель будет вращаться медленнее левого.
L255\rR-255\r
По данной команде левый двигатель будет вращаться вперед, а правый назад, что заставит машинку вращаться вокруг своей оси против часовой стрелки.
H1\r
Команда включения дополнительного канала, к которому например можно подключить фары, звуковой сигнал и т.п. В качестве примера, приведен только один дополнитльный канал, однако ПО легко модифицировать, чтобы задействовать большее количество дополнительных каналов.
Символы команд L, R и H можно задавать в настройках Android-приложения.
В программе контроллера предусмотрен таймер, который отключает двигатели, если последняя команда была получена более, чем n-секунд назад. Настройка количества секунд хранится в EEPROM памяти контроллера и может быть изменена с Android устройства. Диапазон данной настройки составляет от 0.1 сек до 99.9 секунд. Также, настройку можно совсем отключить. Но тогда, при потере связи машинка будет ехать, пока не будет выключено питание.
Для работы с памятью микроконтроллера предусмотрены команды Fr — чтение значений и Fw — запись значений.
Электронная начинка
Структурная схема CxemCAR представлена ниже:
Как видим, к контроллеру (Arduino, STM32 и др. неважно какой) подключается Bluetooth модуль и драйвер двигателей, к которому в свою очередь подключается 2 или 4 моторчика Bluetooth-управляемой модели. На схеме изображен один выход дополнительного канала (включение звукового сигнала, фар и т.п.), но путем небольшой правки программы число дополнительных каналов может быть легко увеличено.
Работа с Android приложением
Приложение под Android писалось в среде Eclipse. Все исходники проекта и проект для Eclipse вы можете скачать ниже. Я не специалист в Java программировании и это мое первое приложение под Android поэтому кое-где код не совсем удачен. Именно на разработку Android приложения ушло основное время при разработке данного проекта. Версия Android должна быть не ниже 3.0, я все писал и тестировал под планшет с версией 4.0.3.
Приложение содержит несколько активити. Главное активити представляет собой начальный экран с кнопками запуска различных режимов управления и настройками:
Предусмотрено 3 режима управления Bluetooth-моделью:
Управление от акселерометра — основной способ управления. Управление движением Bluetooth-модели осуществляется за счет наклона Android-устройства (планшет, телефон и др.)
Виртуальный руль — гибридное управление. Газ — при помощи ползунка, повороты — при помощи поворота устройства. Задний ход — отдельной экранной кнопкой.
Управление от кнопок — на экране приложения выводятся 4 кнопки управления: вперед, назад, влево и вправо. При нажатии кнопки «вперед» машина едет вперед пока держите кнопку, при нажатии «назад» тоже самое, но едет назад. При нажатии кнопок «влево» или «вправо» машинка крутится вокруг своей оси в одну или в другую сторону. При этом значение скорости фиксировано (по умолчанию стоит максимальная скорость), но в настройках можно изменить данный параметр.
Управление от touch — данный способ управления я подсмотрел в игре DeathRally и ради спортивного интереса решил повторить. Честно сказать поучилось не очень удобно, но может кому-нибудь пригодится. На экране рисуется круг, внутри которого и происходит процесс управления. Повели пальцем вверх относительно центра — машинка едет вперед, чуть левее — машинка начинает поворачивать влево. Насчет этого способа управления, есть в дальнейшем идея усовершенствования с помощью компаса, т.е. использовать круг не как задатчик скорости и поворота, а задавать с помощью него направление движения.
Настройки приложения
Скриншот настроек Android приложения CxemCar версии 1.0:
К каждой настройке внизу есть небольшое пояснение, поэтому с их предназначением думаю не должно возникнуть вопросов. Однако на некоторых из них хотелось бы остановиться более подробно.
Точка разворота для мотора (ось X)
При наклоне Android-устройства влево или вправо программа притормаживает тот двигатель, в сторону которого наклонено устройство, т.о. осуществляется поворот. Однако, когда значение наклона доходит до заданной в настройках точки разворота, то двигатель начинает вращаться в другую сторону. Если наклонить устройство максимально вбок, то один двигатель будет вращаться с максимальной скоростью в одну сторону, а другой в другую и соответственно машинка будет крутиться вокруг своей оси на месте.
MAC адрес
Для установления связи с Bluetooth модулем машинки, в настройках приложения необходимо задать MAC-адрес. Предварительно необходимо настроить сопряжение устройств в настройках вашего Android-устройства. Для этого переходим в Настройки -> Bluetooth и нажимаем «Поиск устройств», телефон находит наш Bluetooh-модуль, нажимаем по нему и вводим пароль (как правило 1234).
Узнать Bluetooth адрес модуля можно из какого-нибудь приложения, к примеру Bluetooth Terminal. Для этого внизу нажимаем «Connect a device — Secure» и в появившемся окошке нажимаем кнопку «Scan for devices». ПО сканирует Bluetooth устройства и отобразит их MAC-адреса:
Этот MAC-адрес и необходимо прописать в настройках приложения CxemCAR.
Само ПО под Android я не буду расписывать, т.к. оно довольно таки громоздкое и поэтому если у вас возникнут какие-либо вопросы по нему, то обращайтесь тему поддержки данного проекта на форуме.
Сборка платформы
Как я уже говорил выше, в качестве платформы я выбрал шасси Pirate-4WD от производителя DFRobot (SKU:ROB0003). Это одно из самых популярных шасси, вот его описание и видео по сборке. Хотя там все интуитивно понятно и сборка очень проста.
После того, как была собрана основа шасси с моторами, припаиваем провода и на всякий случай маркируем моторчики:
На верхнем фото хорошо видно, что левые и правые двигатели относительно друг-друга расположены несоосно из-за непродуманности китайской конструкции, и из-за этого колеса немного проскальзывали при движении. Поэтому потребовалось небольшая доработка, для этого я вырезал распорки из пластика и вставил их между двигателями.
Стало немного лучше, но все равно остался небольшой градус у колес. Однако, как показали дальнейшие испытания, это не сильно влияло на ходовые качества платформы. Поэтому не стал углубляться в доработку шасси и оставил как есть с распорками.
Следующим этапом является установка колес. На вал они налезают очень туго, кое-где даже пришлось подпилить каттэром.
Провода от 4-х моторов подключаем к плате драйвера двигателей L298N, левые 2 мотора просто запаралеленны, тоже самое и правые.
Для того, чтобы можно было видеть состояние Bluetooth соединения, у модуля HC-06 (да и у других тоже) присутствует возможность подключения светодиода состояния. Я решил его также подключить и вывести на видное место. Для этого, я использовал токоограничительный резистор номиналом 470 Ом и термоусадочную трубку.
К модулю Bluetooth подключаем или подпаиваем все необходимые провода, помимо светодиода это питание, GND, TX и RX. Смотрите документацию на ваш Bluetooth модуль. Чтобы не мучаться с пайкой, я вам советую сразу взять модуль с подпаянными штыревыми выводами (см. фото выше). И лучше брать модули HC-03/HC-05.
Я же использовал модуль HC-06, который у меня был до этого. Схема распайки следующая:
В распаянном виде модуль выглядит так:
Его я также разместил в термоусадочной трубке большого диаметра.
Для питания двигателей я использовал батарейный отсек на 5 элементов типа АА, т.е. напряжение питания двигателей составило 7.5 Вольт. Можно использовать LiPo и другие аккумуляторы. Для крепления батарейного отсека в крышке шасси просверлил два отверстия и закрепил при помощи двух болтов.
История изменений ПО для Android:
Версия 1.1 (от 28.01.2013) — в классе cBluetooth изменения для более стабильного подключения по Bluetooth. Теперь не нужно вводить код для pairing (связывания устройств)
Версия 1.2 (от 15.02.2013) — дополнен класс cBluetooth на предмет установки соединения с устройством (полезно при отладке). Изменения в классе Handler (исправлены все ошибки с static). Реализован новый вид управления — «виртуальный руль».
Версия 1.3 (от 20.07.2013) — мелкие правки в активити. Исправление ошибки с инверсией координат на смартфонах
Схема подключения «мозгов» робота, т.е. основного контроллера, для каждой платформы будет своя, поэтому подключение и другие нюансы будут описаны в отдельных статьях:
Аппаратная реализация CxemCAR на платформе STM32
Аппаратная реализация CxemCAR на платформе Arduino
Аппаратная реализация CxemCAR на платформе .NET Micro Framework
Управление машинкой с сотового телефона
Вот только что был у нас проект — подключение модуля Bluetooth к плате Марсоход. И плата Марсоход и модуль Bluetooth были установлены на машинке. Такая машинка ездила под управлением Scratch программы работающей на компьютере.
Сегодня мне пришла в голову мысль: «А почему бы не использовать сотовый телефон с Bluetooth , как пульт управления к машинке?»
Ну так вот, сделал:
Как я это делал — это конечно целая история.
У меня есть довольно старенький телефон. Не Android и не iPhone. Обычная Nokia с операционной системой Simbian OS v9.1. На телефоне есть Bluetooth и Java.
Значит нужно писать программу на Java. Честно говоря не могу похвастаться знанием этого языка программирования. Однако мы не привыкли отступать. Отправляемся в Google и Yandex. Наша задача найти и скачать среду программирования для Java для телефонов и какие нибудь готовые примеры для работы с Bluetooth .
Довольно быстро я вышел на страницу Оракла: http://www.oracle.com/technetwork/java/index-jsp-137162.html На этой странице есть ссылки на скачивание Java ME SDK и на скачивание Sun Java Wireless Toolkit. Я скачал оба. Честно говоря Java ME SDK мне не понравилась. Слишком там много всего не понятного. Хотя там прямо «среда разработки». Наверное сильная вещь, но долго разбираться. А вот Sun Java Wireless Toolkit мне понравился Он примитивный, как раз для моего уровня подходит. Там всего «3 кнопки» — создать проект, откомпилировать, запустить. Редактировать тексты не где — нет для этого среды. Использую внешний редактор — notepad.
С обоими средствами программирования идут какие-то примеры, в том числе и c использованием Bluetooth . Еще порылся в google.
В конце концов, взяв несколько разных примеров из интернета, кое как слепив их до кучи, получилась у меня программа. Не ручаюсь, что там все правильно (как я уже сказал, я не знаю языка Java, имею только общие представления). Основной критерий написания — компилятор не должен давать ошибок . Тем не менее, похоже программа работает.
Вы можете выкачать мою программу здесь:
В этом архиве и исходные тексты, проект для Sun Java Wireless Toolkit, и сами бинарные файлы. Раскройте архив, в папке BIN есть btctrl.jar и btctrl.jad файлы. Их нужно перенести на телефон и с них установить Java приложение.
Вам нужна машинка с платой Марсоход и модуле Bluetooth , как в том проекте.
Теперь все просто. Включаем машинку. Запускаем на телефоне программу. Программа ищет в округе устройства Bluetooth и показывает их список. Выбираем то устройство, про которое телефон пишет SerialPort. телефон спрашивает разрешение на подключение, соглашаемся и все — можно управлять машинкой. При нажатии на кнопки влево, вправо, вверх, вниз на экране телефона рисуется соответствующая направлению стрелка и наша машинка едет!
BlockDuino
Подключив к своей Blockduino блютуз модуль и передав на нее данные с датчиков с моего таба, не смог удержаться, чтобы не попробовать прикрутить все это на какую-нибудь игрушку.
Написал для этой машинки небольшую програмку под arduino. Принцип программы прост, она получает из последовательного порта символьную строку с показаниями акселерометра в виде трех дробных чисел разделенных символом ‘;’ (cделаю отступление: для передачи с Android’а я использовал приложение под названием Amarino); 
затем разделяет эту строку еще на три группы символов ориентируясь по точке с запятой и затем выделяет из этих групп знак (минус, если наклон отрицателен) и по три первых цифры; потом эти цифры преобразует в число.