Apache Arrow ist zu einer grundlegenden Infrastruktur für den modernen Daten-Stack geworden. Da enorme Datenmengen auf ausgesprochen zuverlässige Weise durch Arrow fließen, lag die Annahme nahe, dass diese Infrastruktur ohne weiteres Zutun einfach verfügbar sein würde, um die Workloads zu unterstützen. 2025 wurde diese Annahme auf die Probe gestellt.

Ein führendes Meeresforschungszentrum musste Modelle der Meeresbiogeochemie mit feingranularen mikrobiellen Stoffwechselmodellen verbinden, doch die verfügbaren Daten waren über sechs inkompatible Quellen fragmentiert.

Die positiven Beiträge Ihres OSPO zu vermitteln, passiert gleichzeitig auf mehreren Ebenen. Ob Sie mit der Geschäftsführung, dem Engineering-Management oder Entwicklerinnen und Entwicklern sprechen: Jede Zielgruppe muss die Wirkung des OSPO in Begriffen verstehen, die für sie relevant sind. Wenn es jedoch darum geht, das tatsächliche Budget des OSPO zu sichern, zählt vor allem, Ihrem Führungsteam klare und validierte Dollarbeträge zu kommunizieren.

Einem Kunden aus dem quantitativen Handel fehlten interne HPC-Spezialisten, um Batch-Tools für seine Systeme zu entwickeln. Bei seinen Cloud-HPC-Workloads kam es zu Kostenüberschreitungen, weil die Rechenkosten vor der Ausführung eines Jobs nicht geschätzt werden konnten.

Apache Arrow verlor 2024 seinen wichtigsten Unternehmenssponsor, wodurch die Beschäftigung der zentralen Mitwirkenden der Arrow-Community gefährdet wurde. Das war katastrophal für Arrow und Parquet, Technologien, die heute einen großen Teil datenbezogener Projekte tragen, sowie für die Unternehmen, die auf sie angewiesen sind.

Ein Softwareunternehmen für Flottensicherheit benötigte eine externe Validierung seiner Machine-Learning- und Data-Engineering-Architektur. Das System analysiert Daten aus unterschiedlichen, inkompatiblen Quellen (Kameras, Beschleunigungssensoren, Unfallberichte, Verstoßdaten und mehr), um das Fahrerrisiko vorherzusagen.

Ein großer Automobilhersteller benötigte umfassende Daten zur Routenanalyse, um einen Förderantrag für Elektro-Lkw zu unterstützen. Dafür mussten die mit Diesel-Lkw gefahrenen Meilen durch Kaliforniens benachteiligte Luftqualitätsgemeinden (DACs) über mehrere Luftqualitätsbezirke hinweg präzise gemessen werden.

Ein Kunde musste einen großen Entwurfsraum für leistungsfähige Strukturen mit strömungsdynamischen Randbedingungen untersuchen. Klassische CFD-Modellierung war jedoch zu rechenintensiv und zeitaufwendig, um alle möglichen Entwurfsvarianten zu iterieren.

Ein Distributor für Industriedichtungen hatte mit unvorhersehbaren Nachfragemustern bei Kunden, manuellen Prognoseprozessen und kostspieligen Bestandsfehlplanungen zu kämpfen, da Kundenprognosen und tatsächliche Bestellungen erheblich voneinander abwichen.

Ein Hersteller von Komponenten für Halbleiteranlagen hatte Schwierigkeiten, seinen adressierbaren Gesamtmarkt zu erweitern. Ursachen waren voneinander getrennte Vertriebsprozesse und Erfahrungswissen, das in den Köpfen von Experten steckte, statt in zugänglichen Systemen verfügbar zu sein.

Ein kleiner diskretionär handelnder Hedgefonds arbeitete mit fragmentierten Datensystemen, sodass keine einheitliche Sicht auf das Portfoliorisiko möglich war.

Ein Fertigungsunternehmen setzte vollständig auf On-Premise-Server, Netzwerke und Desktop-Computer. Das führte zu betrieblichen Schwachstellen und hohen Wartungskosten.

BMW und PG&E benötigten eine fortschrittliche Dateninfrastruktur und Simulationsfunktionen, um die Platzierung von Ladeinfrastruktur für Elektrofahrzeuge zu unterstützen, sowie eine kundenorientierte App, die Fahrern hilft, ihre Ladezeiten zu optimieren und Treibhausgasemissionen zu senken.

Ein Kunde musste seine HPC-Installation nach Abschluss der ersten Forschungsphase skalieren. Er hatte ein Team erstklassiger Wissenschaftler, ihm fehlten jedoch die HPC-Infrastrukturspezialisten, um seine hochmoderne Hardware zu konfigurieren.

Ein Hersteller von Gummidichtungen musste seine Vertriebsprozesse modernisieren. Wir halfen dem Unternehmen, seine Systeme von einer Reihe isolierter Tabellen und einer zu starken Abhängigkeit von internem Erfahrungswissen in ein strukturiertes, datengestütztes System zu überführen, mit dem es seinen adressierbaren Markt erweitern konnte.

Ein Kernfusions-Startup kam mit drei geschäftlichen Problemen zu uns: Ihre Computational-Fluid-Dynamics-Simulationen (CFD) dauerten zu lange, waren zu teuer und beanspruchten zu viel Aufmerksamkeit des CEO. Lesen Sie weiter, um zu erfahren, wie wir ihnen geholfen haben, alle drei Probleme auf einmal zu lösen.

In der vergangenen Woche hat das CA Governor's Office of Business and Economic Development (GO-Biz) die für Dateninteroperabilität und Technologie-Upgrades der fünf Containerhäfen in Kalifornien vorgesehenen 27 Mio. US-Dollar freigegeben. Dieses Förderprogramm, das wir gemeinsam mit unseren Partnern bei GO-Biz und Momentum konzipiert und umgesetzt haben, soll sicherstellen, dass unsere Containerhäfen, über die rund 40% aller Containerimporte in die USA abgewickelt werden, über die nötige Technologie verfügen, um wettbewerbsfähig zu bleiben und zugleich wirtschaftliche Vorteile sowie Vorteile für Lieferketten und Umwelt im gesamten Bundesstaat zu schaffen.

Unabhängig davon, mit welcher Methode ihr Wert berechnet wird, steht fest: Open-Source-Software ist ein enorm wertvolles Gut. Die Frage ist, wie sich diese Erkenntnis in einer Organisation praktisch nutzen lässt. In diesem Artikel zeige ich Ihnen einige Methoden, die ich entwickelt habe, um den Wert effektiv zu messen, den das große OSS-Team schafft, das ich bei G-Research leite.

ISC feierte den Meilenstein, alle Fördermittel an die fünf teilnehmenden Häfen vergeben zu haben, mit einem Besuch beim Port of Oakland, um einige Projektbeteiligte persönlich zu treffen und die enorme Größe dieser erstklassigen Anlage zu erleben.

Jedes Unternehmen braucht Data Science und KI — zumindest glauben das viele —, während zugleich die meisten Data-Science-Projekte keinen dauerhaften Mehrwert liefern. Es gibt zwar keine exakte Messung dazu, welcher Anteil der Data-Science-Projekte scheitert, doch es besteht Einigkeit darüber, dass die Ausfallquote sehr hoch ist. Lesen Sie weiter, um einige der häufigsten Gründe für das Scheitern von Data-Science-Projekten kennenzulernen.

In letzter Zeit ist es kaum möglich, Nachrichten zu schauen oder durch soziale Medien zu scrollen, ohne von KI zu hören, oft mit Verweis auf ihre Risiken. Wie jedes mächtige Werkzeug kann sie Schaden anrichten. Sie könnten Menschen (und Ihrem eigenen Unternehmen) schaden, wenn Sie Ihre KI-Lösung nicht mit diesem Bewusstsein entwickeln. Hier gebe ich Ihnen einen Überblick über drei zentrale Bereiche, die Ihnen helfen, die Möglichkeiten von KI sicher zu nutzen.

Ein Grund, warum ISC sich darauf gefreut hat, die Bewertungs- und Evaluierungsteile des CA Port Data Interoperability Grant Program zu leiten, war die Möglichkeit, Verbesserungen im Prozess zu identifizieren und umzusetzen. Wir sind überzeugt, dass die Ergänzung des Förderantragsprozesses um eine Feedbackrunde dazu beigetragen hat, die Anträge stärker, wettbewerbsfähiger und besser auf die Ziele und das Budget des Bundesstaats Kalifornien auszurichten.

Vor der letzten Supercomputing23-Konferenz in Denver fand ein Vorkonferenz-Workshop namens NRG@SC23 statt. Ziel dieses aufschlussreichen Workshops war es, eine vielfältige Gruppe von Forschenden aus unterversorgten Regionen zusammenzubringen, um die Herausforderungen beim Betrieb großer HPC-Cluster mit begrenzten Ressourcen zu diskutieren.

Auch wenn es als natürlicher Ausgangspunkt jeder Analytics-Aufgabe erscheint, Code schreiben zu lernen und Daten zu betrachten, führt genau das mit hoher Wahrscheinlichkeit zum Scheitern.

Letzte Woche haben wir mit dem CA Port Data Interoperability Grant Program einen wichtigen Meilenstein erreicht. Nachdem wir Feedback zu Antragsentwürfen gegeben hatten (zum ersten Mal in den USA enthielt ein solches Förderprogramm eine Feedbackphase), endete die Einreichungsfrist für Anträge am 8. Februar. Die Förderentscheidungen werden wir am 26. Februar offiziell bekannt geben. Der Prüfprozess war darauf ausgelegt, gemäß den in der Anfangsphase des Projekts entwickelten Bewertungskriterien umsetzbares Feedback zu übergeordneten positiven und kritischen Hinweisen zu geben, damit die Anträge stärker und wettbewerbsfähiger werden.

Was haben Pythons und Pandas mit Daten zu tun? Die Datenanalysten und Data Scientists bei Insight Softmax nutzen Python und Pandas täglich, um komplexe geschäftliche Probleme zu lösen.

Am 4. Januar führte das Team des CA Port Data Interoperability Grant Program eine Diskussionsrunde mit allen teilnehmenden Häfen durch, geleitet von der California Association of Port Authorities. Gemeinsam teilten wir Statusupdates zu den Vorschlägen, arbeiteten an der Entwicklung von Standards für nicht containerisierte Güter und unterstützten künftige Fördermöglichkeiten.

In dieser fünfteiligen Serie begleiten wir unseren COO Marcus Rabe, während er an der Hult International Business School in Boston, MA, einen sechswöchigen Kurs unterrichtet: Computational Analytics with Python.

Für Filip Novović, Cloud-Infrastruktur-Ingenieur bei Insight Softmax, gehört die Auseinandersetzung mit komplexen Themen und akademischen Theorien gemeinsam mit seinen Kollegen zu den Dingen, die er an der Arbeit in einem Data-Science-Unternehmen besonders schätzt. Noch besser ist es für ihn jedoch, diese Ideen zu nutzen, um reale Geschäftsprobleme für Kunden zu lösen.

Der offizielle Antragsrahmen für das California Port Data Interoperability Grant Program wurde veröffentlicht. Seit dem 12. Dez. können die fünf Containerhäfen in Kalifornien im Rahmen des Programms Förderanträge einreichen. Das Programm vergibt insgesamt $27,000,000 für die Modernisierung von Datensystemen und Verbesserungen der Interoperabilität.

ISC freut sich bekannt zu geben, dass wir ein wegweisendes Projekt leiten, das erste seiner Art in den USA: das California Port Data Interoperability Grant Program. Das übergeordnete Ziel ist es, die Interoperabilität der Datensysteme zwischen den Häfen und ihren Stakeholdern durch eine Reihe von Fördermitteln in Höhe von insgesamt $27,000,000 zu verbessern.

Wie Unternehmen aus ihren Daten Wert schaffen: Sie reichern sie mit Kontext an und verwandeln sie so in wertvolle Informationen, die für kluge Geschäftsentscheidungen genutzt werden können.

Was haben Weltraumphysik und Data Science gemeinsam? Wie sich herausstellt: eine ganze Menge. George Geddes, Data Scientist bei Insight Softmax, nutzt das Wissen aus seiner weltraumbezogenen Promotionsforschung, um jeden Tag geschäftliche Probleme auf der Erde zu lösen.

Wenn Sie schon einmal gesagt haben: „Facebook hat mich dazu gebracht, es zu kaufen“, kennen Sie die Wirkung eines guten Empfehlungssystems. Wenn der Algorithmus richtig liegt, schlägt das Tool Ihnen Produkte und Services vor, von denen Sie gar nicht wussten, dass Sie sie brauchen.

Logistik zählt zu den wichtigsten und zugleich komplexesten Branchen der Welt. Wenn man es mit einer (buchstäblichen) Million beweglicher Teile zu tun hat, die über die ganze Welt verstreut sind, bleibt viel Raum für Fehler. Doch Data Science gibt Logistikunternehmen die Möglichkeit, diese Zusammenhänge herzustellen.

Wir machen große Fortschritte im Quantencomputing, doch wichtig ist, das Ziel nicht aus den Augen zu verlieren: unsere theoretische Forschung in reale Lösungen für Geschäftsanwendungen zu überführen.