US-Startup bricht Yahoos Weltrekord

Databricks bricht Rekord in der Datenverarbeitung - 100 Terabyte in 23 Minuten

Dem US-Startup Databricks ist es gelungen, Hundert Terabytes in 23 Minuten zu sortieren. Das Jungunternehmen pulverisierte mit dieser Leistung die Bestmarke des bisherigen Spitzenreiters Yahoo und sicherte sich einen neuen Weltrekord in der Datenverarbeitung.

databrick, datenverarbeitung, weltrekord, yahoo abgeloest, 100 tb, 23 minuten

© Shutterstock

Ein US-Startup löst Yahoo als Weltrekordhalter in der Datenverarbeitung ab.

Ein US-Startup hat es fertig gebracht, in nur 23 Minuten sagenhafte 100 Terabyte an Daten zu verarbeiten und den bisherigen Rekordhalter Yahoo vom Datenverarbeitungs-Thron zu stoßen. Das Ganze ereignete sich auf dem Benchmarking-Wettbewerb Graysort und stellt alles bisher Erreichte gleich in mehrerer Hinsicht mit Leichtigkeit in den Schatten.

Denn zum Erreichen des Weltrekords genügten dem amerikanischen Kleinkonzern nur 6.592 Prozessorkerne, die in 206 virtuellen Maschinen Platz fanden. Zum Vergleich: Der vorherige Spitzenreiter und Suchmaschinengigant Yahoo brauchte für dieselbe Datenmenge nicht nur drei mal so lang (70 Minuten) wie sein Nachfolger, sondern benötigte darüber hinaus auch noch die zehnfache Menge an virtuellen Maschinen (2.100).

Nebenbei ließ das bisher weitestgehend unbekannt gebliebene Startup 190 weitere Rechner laufen, die außer Konkurrenz die schier unglaubliche Datenmenge von 1 Petabyte in 234 Minuten abarbeiteten. Wo Yahoo zuvor einen Hadoop-Cluster benutzte, verwendet Databricks bei der Datenanalyse ein Too, das auf dem von der University of California Berkely entwickelten Open-Source-Tool Spark basiert.

Zwar wird Hadoop nach wie vor von den meisten etablierten Internetunternehmen zur Datenverarbeitung herangezogen, doch bieten neuere Tools den Vorteil, dass sich mit ihnen größere Datenmengen auch in Echtzeit berechnen lassen. Das Team von Databricks verwendete laut eigener Aussage eine Kombination aus dem Analysetool Apache Spark und dem Hadoop File System (HDFS), als es seinen neuen Weltrekord aufstellte.

Mehr zum Thema

Sicherheit-Symbolbild
Sicherheitslücken behoben

In drei beliebten Newsletter-Diensten haben IT-Experten mehrere potenziell kritische Sicherheitslücken entdeckt und in Absprache mit Herstellern…
Ebay
Abgebrochene Auktion

Der BGH hat sich im Fall um einen abgebrochenen Auto-Verkauf auf Ebay auf die Seite des Bieters gestellt. Schnäppchenpreise seien der Reiz von Ebay.
Mehrere IT-Unternehmen fordern eine Reform des
NSA-Spionage

Mehrere IT-Unternehmen haben sich zusammengeschlossen und fordern vom US-Senat eine Reform des "USA Freedom Act". Die Abstimmung solle noch in diesem…
Suche einrichten in Outlook 2010
Job-Angebote per E-Mail

Verbraucherschützer warnen vor E-Mails mit Nebenjob-Angeboten mit Nettoeinkommen bis zu 6000 Euro. Hinter angegebenen Links wartet Malware.
Startup
Reality-Show im Silicon Valley

Unter dem Titel "Bazillion Dollar Club" unternimmt eine Reality-Show des US-Senders Syfy den Versuch, seinen Zuschauern den Arbeitsalltag von 12…