Відновлення характеристик при розподіленому виконанні нейронних мереж в граничних системах
DOI:
https://doi.org/10.31861/sisiot2026.1.01016Ключові слова:
розподілені нейронні мережі, граничні обчислення, відновлення характеристик, доповнюючий автоенкодерАнотація
Обсяг даних, які генерують IoT-пристрої, постійно зростає, що робить глибокі нейронні мережі необхідними інструментами для обробки цих масивів. Глибокі нейронні мережі потребують значних обчислювальних ресурсів, що ускладнює їх розгортання на пристроях з обмеженою кількістю пам'яті та обчислювальними ресурсами. З іншого боку, IoT-модулі є частиною мережі інших пристроїв, які можна використати як додаткові ресурси для обчислень. Така конфігурація дає змогу застосувати розподілені обчислення для нейронних мереж та перемістити їх ближче до джерела даних. Локальні мережі, що використовуються в таких випадках, зазвичай є бездротовими, тому втрата пакетів, завади, нестабільна пропускна здатність та недоступність вузлів є звичними явищами для такого типу систем. Згадані проблеми бездротових мереж призводять до втрати проміжних значень характеристик в нейронній мережі, що в результаті відображається на точності роботи нейронної моделі. У цьому дослідженні запропоновано новий шар нейронної мережі для відновлення проміжних характеристик. Втрата проміжних значень у цій роботі визначена як проблема доповнення втрачених параметрів. Для вирішення цієї задачі використовується модуль на основі автоенкодера для реконструкції втрачених значень, який використовує бінарну маску отриманих та втрачених параметрів. Після відновлення дані передаються до класифікатора. Для перевірки гіпотези була використана попередньо навчена модель ResNet-18 із зафіксованими параметрами. Під час постановки експерименту було обрано коефіцієнти помилок від 0,0 до 0,5 з кроком 0,1. Набір даних був сформований на основі попередньо обробленого ImageNet-1k. Модель без модуля відновлення при 50% втрачених параметрів для Top-1 accuracy продемонструвала зниження точності з 69,73% до 52,84%, у той час як модуль відновлення досяг 62,89% точності. Для Top-5 accuracy при втраті 50% параметрів модель без модуля відновлення продемонструвала зниження точності з 89,1% до 77,82%. Модель з модулем відновлення продемонструвала 85,46% точності. Згідно з отриманими результатами, використання запропонованого модуля при обчисленні демонструє помірне зниження точності при втратах у порівнянні з більш різким зниженням у моделі без відновлення. Таким чином, запропонований підхід може бути використаний для підвищення точності моделі завдяки зменшенню втрат точності при помилках, що може дозволити застосовувати розподілені обчислення в системах реального часу з обмеженими ресурсами.
Завантажити
Посилання
I. Rodriguez-Conde, C. Campos, and F. Fdez-Riverola, “Horizontally Distributed Inference of Deep Neural Networks for AI-Enabled IoT,” Sensors, vol. 23, no. 4, Art. no. 1911, Feb. 2023, doi: 10.3390/s23041911.
K. M. Hou, X. Diao, H. Shi, H. Ding, H. Zhou, and C. De Vaulx, “Trends and Challenges in AIoT/IIoT/IoT Implementation,” Sensors, vol. 23, no. 11, Art. no. 5074, May 2023, doi: 10.3390/s23115074.
E. Baccour et al., “Pervasive AI for IoT Applications: A Survey on Resource-Efficient Distributed Artificial Intelligence,” IEEE Commun. Surv. Tutor., vol. 24, no. 4, pp. 2366–2418, 2022, doi: 10.1109/COMST.2022.3200740.
Y. Chen, T. Luo, W. Fang, and Neal. N. Xiong, “EdgeCI: Distributed Workload Assignment and Model Partitioning for CNN Inference on Edge Clusters,” ACM Trans. Internet Technol., vol. 24, no. 2, pp. 1–24, May 2024, doi: 10.1145/3656041.
F. Xue, W. Fang, W. Xu, Q. Wang, X. Ma, and Y. Ding, “EdgeLD: Locally Distributed Deep Learning Inference on Edge Device Clusters,” in 2020 IEEE 22nd International Conference on High Performance Computing and Communications; IEEE 18th International Conference on Smart City; IEEE 6th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), Yanuca Island, Cuvu, Fiji: IEEE, Dec. 2020, pp. 613–619, doi: 10.1109/HPCC-SmartCity-DSS50907.2020.00078.
S. Itahara, T. Nishio, and K. Yamamoto, “Packet-Loss-Tolerant Split Inference for Delay-Sensitive Deep Learning in Lossy Wireless Networks,” in 2021 IEEE Global Communications Conference (GLOBECOM), Madrid, Spain: IEEE, Dec. 2021, pp. 1–6, doi: 10.1109/GLOBECOM46510.2021.9685179.
Y. Huang et al., “GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism,” 2018, arXiv. doi: 10.48550/arXiv.1811.06965.
F. Brakel, U. Odyurt, and A.-L. Varbanescu, “Model Parallelism on Distributed Infrastructure: A Literature Review from Theory to LLM Case-Studies,” 2024, arXiv. doi: 10.48550/arXiv.2403.03699.
Q. Yuan and Z. Li, “Distributed Inference Models and Algorithms for Heterogeneous Edge Systems Using Deep Learning,” Appl. Sci., vol. 15, no. 3, Art. no. 1097, Jan. 2025, doi: 10.3390/app15031097.
J. Du et al., “Model Parallelism Optimization for Distributed Inference via Decoupled CNN Structure,” IEEE Trans. Parallel Distrib. Syst., pp. 1–1, 2020, doi: 10.1109/TPDS.2020.3041474.
X. Guo, Q. Jiang, A. D. Pimentel, and T. Stefanov, “Model and system robustness in distributed CNN inference at the edge,” Integration, vol. 100, Art. no. 102299, Jan. 2025, doi: 10.1016/j.vlsi.2024.102299.
L. Gondara, “Medical Image Denoising Using Convolutional Denoising Autoencoders,” in 2016 IEEE 16th International Conference on Data Mining Workshops (ICDMW), Barcelona, Spain: IEEE, Dec. 2016, pp. 241–246. doi: 10.1109/ICDMW.2016.0041.
Y. Jiang, J. Xu, B. Yang, J. Xu, and J. Zhu, “Image Inpainting Based on Generative Adversarial Networks,” IEEE Access, vol. 8, pp. 22884–22892, 2020, doi: 10.1109/ACCESS.2020.2970169.
J. Deng, W. Dong, R. Socher, L.-J. Li, Kai Li, and Li Fei-Fei, “ImageNet: A large-scale hierarchical image database,” in 2009 IEEE Conference on Computer Vision and Pattern Recognition, Miami, FL: IEEE, Jun. 2009, pp. 248–255, doi: 10.1109/CVPR.2009.5206848.
O. Russakovsky et al., “ImageNet Large Scale Visual Recognition Challenge,” 2014, arXiv. doi: 10.48550/arXiv.1409.0575.
“resnet18 – Torchvision main documentation.” Accessed: May 5, 2026. [Online]. Available: https://docs.pytorch.org/vision/main/models/generated/torchvision.models.resnet18.html
Опубліковано
Номер
Розділ
Ліцензія
Авторське право (c) 2026 Безпека інфокомунікаційних систем та Інтернету речей
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.
