KI Plattform Engineer (m/w/d) –
Betrieb & Deployment von Sprachmodellen
Wir suchen ab sofort eine/n KI Platform Engineer (m/w/d) für den Betrieb und das Deployment von Sprachmodellen.
Ihre Aufgaben
– Verantwortung des Betriebs unserer LLM-Plattform (LLMOps) – stabil, sicher, skalierbar und nachvollziehbar
– Planung und Umsetzung von Deployments und Rollouts von Sprachmodellen – containerbasiert mit Docker
– Betrieb und Optimierung von Deployments mit vLLM oder SGLang (Serving, Throughput, Latenz, Ressourcenverbrauch).
– Analyse und Verbesserung der Performance auf bestehender Hardware
– Unterstützung bei der Auswahl geeigneter Hardware für neue Modelle und steigende Last (Compute, Memory, GPU/CPU, Skalierung)
– Konfiguration von Parametern und Serving-Einstellungen anhand des gewünschten In-/Output-Verhaltens
– Konfiguration nutzungsbasierter Limitierungen über ein API Gateway (Rate Limits, Quotas, Auth, Policies)
– Einrichtung von OpenWebUI und Sicherstellen eines laufenden Betriebes
– Monitoring und Observability für den LLM-Betrieb
Das bringen Sie mit
– Praxiserfahrung im Betrieb produktiver Systeme (nicht nur „Basteleien“) – idealerweise in Plattform-/Ops-/SRE-nahen Rollen
– Sehr gute Kenntnisse in Docker sowie in Betriebs- und Deployment-Workflows
– Erfahrung mit vLLM oder SGLang (oder vergleichbaren LLM-Serving-Stacks) für produktive Inferenz
– Know-how im Performance-Tuning für Inferenz, inklusive Quantisierung und Optimierung auf vorhandener Hardware
– Verständnis für Hardware-Auswahl und Kapazitätsplanung für LLM-Workloads
– Vertraut mit API Gateways für nutzungsbasierte Begrenzungen (Rate Limiting, Quotas, Policies)
– Erfahrung mit OpenWebUI (Betrieb, Einrichtung, Wartung) oder vergleichbaren UI-/Access-Layern
– Sicherer Umgang mit einem Python-basierten Stack, idealerweise mit Postgres sowie Berührungspunkte mit Oracle in Bestandssystemen
– SQL-Grundlagen (Abfragen, Analyse, einfache Optimierungen)
– Sichere Git sowie CI/CD Kenntnisse (Pipelines, Releases, sauberes Branching, Automatisierung)
– Grundkenntnisse im Fine-Tuning von LLMs (Begriffe, typische Verfahren/Workflows, Risiken/Trade-offs)
– Teamfähigkeit, Anaytisches Denken, EIgenverantwortung und eine strukturierte Arbeitsweise
Wer wir sind
Wir sind Digitaldenker für die Versorgung von morgen und qualifizieren Energieversorger für die Transformation im Energiemarkt. Dafür bieten wir ganzheitliche IT-Systemlösungen aus einer Hand, die auf die individuellen Anforderungen und Mittel unserer Kunden angepasst sind. Implementierung, ganzheitliche Beratung, Betreuung und Kompetenzvermittlung stehen dabei im Fokus.
Ihr Ansprechpartner
Herr Patrick Kloppe | bewerbung@ivugmbh.de | +49 40 525064 23
Wir bieten
Bei uns erwartet Sie zudem ein umfangreiches Benefit-Paket mit einigen Highlights:
– Mobile Office
– JobRad Fahrradleasing
– Firmenfitness mit EGYM wellpass
– Vielfältige Entwicklungsmöglichkeiten
– Betriebliche Altersvorsorge & vermögenswirksame Leistungen
– Mitarbeitendenrabatte
– Eine attraktive Vergütung mit 13 Gehältern
– Firmenfeiern & gemeinsame Aktivitäten
Wir freuen uns auf Ihre Bewerbung!
Wir haben Ihr Interesse geweckt? Unser kleines, aber hoch motiviertes Team wartet auf Sie!
Wir freuen uns auf Ihre Bewerbung inklusive Nennung Ihres frühestmöglichen Eintrittstermins und Ihrer Gehaltsvorstellung.