В основе разработанной оптико-электронной системы — пара стереокамер, которая «смотрит» на поле. Она автоматически выделяет летящий мяч, определяет траекторию движения мяча в трехмерном пространстве с очень высокой точностью и измеряет его скорость, ускорение, характеристики вращения, и в том числе выполняет функцию «электронного судьи». Полученные данные используются для реализации трех задач: электронный судья, трансляция (на видео накладывается измерительная траектория) и измерение статистических показателей игры.

«Бейсбол состоит из набора стандартных моментов. Каждый игрок, каждое его действие, характеризуется определенными статистическими показателями. Эти показатели измеряются автоматически», — объясняет Роман Бессонов, заведующий отделом оптико-физических исследований ИКИ, автор идеи и руководитель команды, работающей над системой технического зрения.

Контрастные точки, которые может выделить алгоритм, пронумерованы, а их координаты обмерены теодолитом. Они реализуют систему координат поля для системы технического зрения (с) ОФО ИКИ РАН

Роман Бессонов давно планировал сделать подобную оптико-электронную систему для бейсбола. Выбор этого вида спорта обусловлен личными интересами автора идеи. Он с детства занимался бейсболом, профессионально играл в американской команде Los Angeles Dodgers. Роман Бессонов — мастер спорта по этому виду, десятикратный чемпион России и, несмотря на то, что его серьезная бейсбольная карьера закончилась, не расстается с любимым видом спорта.

«Если посмотреть на профессиональные трансляции в Америке, то там это очень сильно развито, но именно для богатых клубов (их несколько десятков). Измерительная часть, телевизионные трансляции и статистика там тоже хорошо развиты, но если спуститься на уровень ниже, например, на уровень американского колледжа или даже чемпионата мира, то там либо ничего, либо минимальные средства для автоматизированного измерения статистических показателей. Необходимое для этого техническое оснащение фактически отсутствует. Мы придумали, как такую систему можно сделать».

Работа над системой началась 1 мая 2019 года и шла невероятно быстро: от идеи до установки готового «продукта» на стадионе прошло 2,5-3 месяца. Еще столько же времени ушло на отработку. Финалы чемпионата России 2019 года проходили при полной поддержке этой системы, работу которой можно было видеть и при трансляции матчей на YouTube, и на большом мониторе, установленном на стадионе.

«Все зрители видели, что каждый бросок отработан. Все происходило в реальном времени», — рассказывает Роман Бессонов.

Траектория мяча, измеренная системой технического зрения (с) ОФО ИКИ РАН

Сейчас команда разработчиков системы технического зрения для бейсбола продолжает работать над ее усовершенствованием. В ее новом варианте используются нейросети:

«Захват мяча легко сделать, а мы, например, хотим еще измерять скорость биты, скорость бега людей, то есть, автоматически выделять людей, лица, распознавать номера. Эти вещи, к сожалению, классическими алгоритмами не решаются, поэтому пришлось применить нейросети. При этом подобные интересные задачи привлекают молодых талантливых ребят, которые учатся и растут на этих работах».

Сегодня нейросети все чаще применяются в нашей жизни. В спортивной сфере, например, они способны не только анализировать данные, но и прогнозировать результаты игр и состязаний. Они даже умеют «придумывать» новые виды спорта.

Разработка системы технического зрения для бейсбола — хорошая техническая задача для сотрудников ИКИ. Сейчас космические технологии способствуют развитию спорта, а в будущем созданные системы и навыки работы с ними помогут усовершенствовать методы исследования космоса. Так, машинное обучение уже применяется в астрономии и используется в таких процессах, как поиск объектов, автоматическая классификация событий и объектов на изображениях, а также реконструкция деталей, которые не удалось запечатлеть с помощью камер.