Job at a glance
Ich arbeite mit einem Unternehmen für Echtzeit-Intelligenz zusammen, das eine Plattform entwickelt hat, die mithilfe von KI öffentlich verfügbare Daten in Echtzeit in operative Erkenntnisse umwandelt. Da ein großer Teil des Unternehmens wächst, suchen sie jetzt einen Senior Data Engineer, der ein integraler Bestandteil des Teams sein wird und an neuen und aufregenden Projekten arbeitet, neue Pipelines aufbaut, von einem Dienst zu einem anderen migriert und eine Daten- und Analyseinfrastruktur aufbaut.
Verantwortlichkeiten Erstellen und pflegen Sie Datenpipelines für die Aufnahme von Daten in großem Umfang, Echtzeitanalysen und Machine Learning Services Entwickeln und optimieren Sie NLP, LLMs und andere KI-gestützte Anwendungen Schreiben Sie CI/CD-Pipelines und sind Sie in der Lage, Code-Reviews durchzuführen Entwerfen und bauen Sie eine Infrastruktur für Datenanalysen auf Qualifikationen Professionelle Erfahrung im Umgang mit Apache Storm, Kafka oder Flink für Echtzeitdaten oder Streaming Mehr als 5 Jahre Erfahrung im Data Engineering und im Aufbau von Pipelines mit Databricks und Spark Erfahrung im Aufbau von CI/CD-Pipelines und DevOps Best Practices Erfahrung mit Echtzeitdaten-Streaming