Scraping minado de Criptomonedas
Clientes inversores necesitan contar con informes personalizados acerca del monitoreo de las operaciones en la plataforma de Criptomonedas. Vamos a resolverlo.
- Industria
- Otros
- Solución
- Data Engineering
01 / 03
El desafío
Los clientes inversores necesitan contar con informes personalizados acerca del monitoreo de las operaciones en la plataforma de criptomonedas. Los datos para generar estos reportes se encuentran en "Hive OS" y "Hiveon pool", pero la extracción y el consumo de la información se complejiza:
- No es de fácil acceso
- No se tiene información histórica
- Los datos no están centralizados
02 / 03
Qué hizo Tekne
Objetivo
Extraer los datos de las plataformas "Hive OS" y "Hiveon pool", y disponibilizarlos en una base de datos centralizada, que sirva como suministro para la elaboración de reportes personalizados que permitan visualizar los principales indicadores como el ingreso y estado de los rigs utilizados para criptominería.
Proceso de implementación
1 Relevamiento de APIs
2 Fuente de datos externa:
- Precio USDT/ETH
3 Desarrollo de Scripts en Python:
- ETL incremental
- Carga de datos en AWS
4 Automatización y orquestación mediante Airflow: freq. 1h
03 / 03
Resultados
- Datos históricos del Hashrate, Payouts y Temperatura con carga incremental cada 1hs, centralizada en BBDD de AWS
- Mapeo automático de nueve entradas (workers/farms agregados)
- Manejo de errores y alertas
