Підходи до навчання на основі правил та навчання з підкріпленням у багатоагентних системах для контролю мікроклімату в приміщенні

Анотація

У цій статті представлено процес проектування, реалізації та експериментальну перевірку агентної системи штучного інтелекту на основі периферії для адаптивного керування розумним будинком. На відміну від традиційної автоматизації на основі правил, яка використовує фіксовані пороги та попередньо визначені відповіді, запропонований підхід моделює внутрішнє середовище як процес прийняття рішень, де автономний агент вивчає оптимальні стратегії керування через взаємодію з середовищем. Система розгорнута на платформі мікроконтролера ESP32 з обмеженими ресурсами та працює незалежно від хмарної інфраструктури, що забезпечує низьку затримку, підвищену конфіденційність та знижену залежність від мережі. Параметри навколишнього середовища, включаючи температуру, вологість, рівень освітлення та погодні сигнали, постійно контролюються та кодуються в дискретне представлення стану. На основі цих станів агент обирає дії керування для вентилятора та світлодіодного освітлення, використовуючи стратегію навчання з підкріпленням. Механізм винагороди інтегрує відхилення комфорту та споживання енергії в єдину цільову функцію, що дозволяє цілеспрямовану поведінку замість реактивного перемикання. Процес навчання поступово дозволяє агентам формувати стабільні політики управління, що призводить до зближення параметрів середовища до їх оптимальних значень. Експериментальна оцінка проводилася шляхом порівняння підходів на основі правил та навчання з підкріпленням, а також у розширених умовах з урахуванням параметрів мікроклімату. Результати дослідження показують, що агенти поступово навчаються оптимальним стратегіям керування, що призводить до компактної кластеризації станів навколишнього середовища навколо цільових значень та демонструє надійну продуктивність, незважаючи на шум датчиків та дослідження випадкових дій. Запропонована архітектура ілюструє, як вбудоване навчання з підкріпленням може перетворити традиційну автоматизацію на самоадаптивного інтелектуального агента, керованого пам’яттю, придатного для роботи в реальному часі в умовах розумного будинку. Дослідження підтверджує ефективність впровадження агентного штучного інтелекту на периферійному пристрої ESP32, підключеному до датчиків у прототипі, та підкреслює його потенціал для масштабованих автономних застосувань у сфері керування розумними будівлями.