LLM смотрит на мой сад: как ИИ-зрение решает, звать ли меня накрыть мебель перед дождём

Мультимодальная LLM встроена в Home Assistant как слой рассуждения: принимает кадр с уличной камеры и возвращает ответ по строгой схеме (covered / reason), без парсинга свободного текста. Сама цепочка — триггер по nowcast'у осадков, снимок, проверка, уведомление — собрана через штатные механизмы платформы, без собственного компонента и интеграции. Для аудитории ниши важен сам приём: снижение ручных операций за счёт связки «прогноз → картинка → одно уведомление с двумя кнопками».

Архитектура стенда

Хост — Raspberry Pi 3 (4 ядра ARM, ~1 ГБ RAM), Home Assistant работает в Docker-контейнере. Камера — уличная IP с управляемой подсветкой и ИК, проброшена в платформу как стандартные сущности camera.* и light.*, поэтому автоматизация не завязана на конкретного вендора. Погодная интеграция даёт и суточный прогноз, и краткосрочный nowcast (мм за ближайшие ~2 часа) с радарной картинкой. LLM подключена через штатную интеграцию AI Task. Мессенджер — Telegram-бот в приватной группе с inline-кнопками и обработкой callback'ов.

Соблазн написать свою интеграцию был, но от него отказались: меньше кода — меньше поверхности для поддержки. Функционально AI Task и Telegram закрывают задачу целиком, включая вложения и структурированный вывод.

Алгоритм и его параметры

Последовательность событий при срабатывании:

• nowcast фиксирует осадки на подходе, горизонт — пара часов;
• включается подсветка камеры, делается снимок;
• снимок уходит в LLM с запросом «садовая мебель накрыта чехлами?»;
• при ответе «открыта» в Telegram уходят фото, анимированный радар и две кнопки: «Накрыл» и «Отложить на 3 часа»;
• пока человек не нажал, повторов нет;
• на сухую погоду модель не вызывается вовсе.

Два требования определили логику. Точность вместо спама: уведомление уходит только когда кадр подтверждает открытую мебель, а не на каждый прогноз дождя. Экономия вызовов: модель дёргается только при реально близких осадках и с разумным cooldown'ом, а не по расписанию. Контекст вроде «чехлы сняли специально под покраску» модели недоступен — последнее слово остаётся за человеком одним тапом.

Что учесть при повторении

Четыре условия воспроизводимости. Платформа умного дома с поддержкой AI Task (Home Assistant и его производные). Камера, экспонированная как стандартные сущности, без жёсткой привязки к облаку вендора. Погодная интеграция с nowcast'ом на ближайшие ~2 часа — суточного прогноза недостаточно, он не даёт сигнала «дождь вот-вот». Telegram-бот с inline-кнопками и обработкой callback'ов в приватном чате.

Железо в исходной конфигурации — Raspberry Pi 3, ~1 ГБ RAM. Ресурс впритык: локальный инференс исключён, запросы идут во внешнюю модель. При переносе на сопоставимый хост стоит сократить частоту снимков и увеличить cooldown между триггерами — иначе рост latency съест выигрыш от автоматизации. Итоговый КПД схемы измеряется не количеством срабатываний, а долей ложных уведомлений: при nowcast'е на ~2 часа и snooze в три часа система дёргается не чаще пары раз в сутки даже в дождливую неделю.