Ein US-Startup hat es fertig gebracht, in nur 23 Minuten sagenhafte 100 Terabyte an Daten zu verarbeiten und den bisherigen Rekordhalter Yahoo vom Datenverarbeitungs-Thron zu stoßen. Das Ganze ereignete sich auf dem Benchmarking-Wettbewerb Graysort und stellt alles bisher Erreichte gleich in mehrerer Hinsicht mit Leichtigkeit in den Schatten.

Denn zum Erreichen des Weltrekords genügten dem amerikanischen Kleinkonzern nur 6.592 Prozessorkerne, die in 206 virtuellen Maschinen Platz fanden. Zum Vergleich: Der vorherige Spitzenreiter und Suchmaschinengigant Yahoo brauchte für dieselbe Datenmenge nicht nur drei mal so lang (70 Minuten) wie sein Nachfolger, sondern benötigte darüber hinaus auch noch die zehnfache Menge an virtuellen Maschinen (2.100).

Nebenbei ließ das bisher weitestgehend unbekannt gebliebene Startup 190 weitere Rechner laufen, die außer Konkurrenz die schier unglaubliche Datenmenge von 1 Petabyte in 234 Minuten abarbeiteten. Wo Yahoo zuvor einen Hadoop-Cluster benutzte, verwendet Databricks bei der Datenanalyse ein Too, das auf dem von der University of California Berkely entwickelten Open-Source-Tool Spark basiert.

Zwar wird Hadoop nach wie vor von den meisten etablierten Internetunternehmen zur Datenverarbeitung herangezogen, doch bieten neuere Tools den Vorteil, dass sich mit ihnen größere Datenmengen auch in Echtzeit berechnen lassen. Das Team von Databricks verwendete laut eigener Aussage eine Kombination aus dem Analysetool Apache Spark und dem Hadoop File System (HDFS), als es seinen neuen Weltrekord aufstellte.