Камера Raspberry Pi использует звук для создания фотографий с помощью ИИ

Что это за звук? Пусть эта слепая камера покажет вам!

Говорят, картинка стоит тысячи слов, но может ли тысяча слов стоить картинку? Создатель и разработчик Диего Трухильо Пизанти стремился выяснить это с помощью своего проекта слепой камеры на базе Raspberry Pi. Вместо того, чтобы использовать линзу для захвата света и создания изображения, он прислушивается к звуку и строит приближение того, что может быть вокруг него, на основе обнаруженного звука.

Устройство работает аналогично обычной камере: вы направляете камеру на то, что хотите запечатлеть, и нажимаете кнопку для создания изображения. Однако в этом случае на передней панели имеется гигантский рупор, используемый для усиления улавливания звуков. Пользователи должны направить этот звуковой сигнал в направлении того, что они хотят запечатлеть, прежде чем нажимать кнопку. Затем камера анализирует звук через AI-фильтр и генерирует изображение.

По словам Пизанти, специально для этого проекта он разработал специальную искусственную нейронную сеть (или ИНС). Он обучал ИИ на своих собственных моделях на основе набора видеороликов, снятых в Мехико.

Модель была создана путем съемки каждого кадра видео и сопровождения его последней секундой звука. Это помогло создать ассоциацию звука и видео, которую система может использовать для создания изображений. Поскольку он был обучен таким образом, все, что он создает, во многом основано на изображениях центральной части Мехико.

Для этого проекта Писанти использует модуль Raspberry Pi 3B. Однако можно было бы воссоздать его с помощью Raspberry Pi 4. Пока Pi может обрабатывать Tensorflow, он должен работать. Камера также имеет небольшой экран, который служит своего рода видоискателем. Он сообщает пользователям, когда изображения обрабатываются, и обеспечивает предварительный просмотр сгенерированных изображений. Все размещено внутри специального корпуса, напечатанного на 3D-принтере.

Модель искусственного интеллекта, используемая для обучения слепой камеры, была создана с использованием Python 3. Она предназначена для работы с Tensorflow 2 и работает на Raspberry Pi с использованием TFLite. Если вы хотите воссоздать этот проект Raspberry Pi или просто поближе познакомиться с тем, как он работает, посмотрите видео, опубликованное Писанти на YouTube, и узнайте больше о проекте на его веб-сайте.

Присоединяйтесь к экспертам, которые читают Tom's Hardware, чтобы быть в курсе последних новостей о компьютерных технологиях для энтузиастов — и делают это уже более 25 лет. Мы будем присылать последние новости и подробные обзоры процессоров, графических процессоров, искусственного интеллекта, оборудования производителей и многого другого прямо на ваш почтовый ящик.

Эш Хилл — внештатный автор новостей и статей в Tom's Hardware US. Она управляет проектами Pi месяца и большей частью наших ежедневных отчетов по Raspberry Pi.

Raspberry Pi представила цифровую аналоговую камеру Polaroid

Raspberry Pi оживляет Билли Басса с большим ртом с помощью ChatGPT

AMD расширяет комплект процессоров Jedi, запускает новый контракт на графический процессор Resident Evil 4, скидка 50 долларов на 7900X3D

Стюарт Бендл, 5 июня 2023 г.

Аарон Клотц, 5 июня 2023 г.

Марк Тайсон, 5 июня 2023 г.

Антон Шилов, 5 июня 2023 г.

Марк Тайсон, 5 июня 2023 г.

Автор: Эш Хилл, 5 июня 2023 г.

Автор: Эш Хилл, 5 июня 2023 г.

Марк Тайсон, 4 июня 2023 г.

Марк Тайсон, 4 июня 2023 г.

Автор: Эш Хилл, 4 июня 2023 г.

Автор: Эш Хилл, 4 июня 2023 г.