Задание:
Необходимо написать программу для сбора данных с нескольких сайтов и извлечения json из их API, выгрузки данных в ELK и генерации статистики.
Например, время от времени нам надо собрать данные списка рассылки, извлечь его атрибуты (email, тема письма, содержимое, дата и т.д.), загрузить эти данные в базу данных и иметь возможность выполнять запросы в этой БД. Кроме того мы хотели бы использовать ELK для визуализации данных и сбора статистики.
У нас уже есть код, выполняющий эту задачу, но он далек о уровня продакшн.
Задача разбивается на две части:
- Доделать существующий PoC до продакшена.
- Подключить ELK.
В итоговом коде должны быть тесты и документация.
PoC написан на Python и мы хотели бы продолжить разработку на нем.