Fallstudie: Tools zur Kostenoptimierung für Cloud-HPC bei einem mittelgroßen quantitativen Handelsunternehmen
Herausforderung
Dem Kunden fehlten interne HPC-Spezialisten, um Batch-Tools für seine Systeme zu entwickeln. Bei seinen Cloud-Workloads kam es zu Kostenüberschreitungen, weil die Rechenkosten vor der Ausführung eines Jobs nicht geschätzt werden konnten. Da er von einer rein lokalen HPC-Umgebung in die AWS-Cloud migrierte, musste seine Kultur der Ressourcennutzung an die stark variierenden Kostenstrukturen von HPC in der Cloud angepasst werden.
Lösung
- Slurm-Tools entwickelt und mit AWS ParallelCluster integriert, um Kostenschätzungen zu ermöglichen, bevor ein Job zur Ausführung freigegeben wird
- Ein Self-Service-Tool entwickelt und mit der Cost API von AWS integriert, damit interne Nutzer Rechenschätzungen in Echtzeit berechnen können
- Eine optionale Funktion für eine zweite Freigabe entwickelt
Ergebnisse
- Die internen Forschenden des Kunden können Jobkosten jetzt anhand von AWS-Echtzeitdaten schätzen und Budgets genau einhalten
- Die Auslagerung der Engineering-Lösungen reduzierte Arbeitslast und Stress im internen Engineering-Team
Der Kunde spart Geld, indem er Jobs, die sein Budget überschreiten würden, nicht ausführt. Zuverlässige Kostenkontrollen haben ihm ermöglicht, die Cloud-Einführung umfassender und sicherer voranzutreiben.