Сканування тривимірних об'єктів методами фотограмметрії з використанням LiDAR та мобільних обчислень

Анотація

Тривимірні моделі об'єктів широко використовуються в різних сферах, у тому числі в науці, будівництві, медицині та індустрії розваг, що робить завдання створення таких моделей дуже актуальним. Основною метою цієї роботи є розробка мобільного застосунку, який використовує методи фотограмметрії для сканування обʼєктів. Основною перевагою фотограмметрії є низькі вимоги до апаратного забезпечення, але водночас вона забезпечує відносно високу точність отриманих моделей. Крім того, програма використовує сенсор LiDAR смартфона для покращення якості зйомки, особливо для низькотекстурованих обʼєктів. Датчик LiDAR дозволяє точно вимірювати відстань між пристроєм і об’єктом, що важливо для отримання інформації про розмір та положення обʼєкта. Для побудови 3D-моделі обʼєкта із серії зображень програма використовує Object Capture API, доступний в операційних системах iOS, iPadOS та macOS. Цей API повністю використовує вбудовані GPU і блок нейронної обробки (NPU) для побудови та теселяції хмари точок і створення полігональної сітки моделі. Програма була розроблена для iPhone, які оснащені датчиком LiDAR, використовуючи мову програмування Swift, SwifUI для інтерфейсу користувача та RealityKit для Object Capture API. Створений застосунок підтримує три режими роботи: сканування обʼєкта, реконструкція моделі та попередній перегляд моделі. Щоб спростити процес зйомки обʼєкта, програма може автоматично робити фотографії обʼєкта та надавати вказівки і рекомендації користувачеві. Ці рекомендації містять поради щодо оптимальних умов освітлення, розташування камери, а також проміжний вигляд хмари точок. Після завершення зйомки обʼєкта програма переходить в режим реконструкції, який використовує отримані, під час зйомки, фотографії та дані хмари точок. Цей процес включає вирівнювання зображення, генерацію детальної хмари точок, генерацію полігональної сітки моделі, генерацію текстури і карти нормалей, а також оптимізацію моделі. Після реконструкції, користувач може отримати модель в форматі файлу USDZ та переглянути її за допомогою системних засобів. Після цих кроків було створено дві тестові моделі барабану та садової фігури із задовільною якістю та точністю, зберігаючи початковий розмір сканованих обʼєктів. Отримані тривимірні полігональні моделі можна експортувати в різні 3D-редактори та спеціалізовані програми.