Інформаційна технологія для стиснення та перетворення даних за допомогою Amazon EMR

Анотація

Із зростанням обсягів обробки даних у різних сферах зростає й попит на застосунки, здатні ефективно управляти, опрацьовувати та трансформувати великі масиви інформації. Сучасні підходи до зберігання та обробки великих обсягів даних здебільшого базуються на універсальних текстових форматах, таких як CSV та JSON. Їхня популярність пояснюється простотою інтеграції та сумісністю з широким спектром програмних засобів. Проте під час роботи з великими наборами даних ці формати демонструють низьку ефективність, особливо при виконанні аналітичних запитів або масштабуванні систем. Відсутність вбудованої компресії, рядкова структура та нестача метаданих призводять до значних витрат часу й обчислювальних ресурсів, що створює суперечність між вимогами до швидкості й економічності обробки та технічними можливостями традиційних текстових форматів. Альтернативою виступають колонкові формати зберігання, такі як Parquet та ORC, які використовують компактну структуру, оптимізовану для швидких аналітичних запитів у розподілених обчислювальних середовищах. Завдяки вбудованим механізмам стиснення, ефективному кодуванню та індексації вони забезпечують значне зменшення обсягів даних і прискорюють обробку. Метою цього дослідження є розробка та експериментальна перевірка технології автоматизованого перетворення даних із неефективних текстових форматів у формати Parquet та ORC із використанням Apache Airflow та Amazon EMR. Запропонована архітектура передбачає створення хмарного пайплайна, що виконує конверсію даних і подальше збереження у форматах, орієнтованих на аналітичні навантаження. Система реалізована з використанням Apache Airflow для оркестрації процесів, Amazon EMR та Apache Spark для розподіленої обробки, AWS S3 як масштабованого сховища, AWS Glue для управління метаданими та Amazon Athena для SQL-доступу до перетворених даних. Такий підхід вирішує проблеми продуктивності, пропонуючи гнучке, надійне та економічно ефективне рішення, здатне адаптуватися до різних робочих сценаріїв і навантажень.