Java und Performance in einem Satz? Für viele klingt das immer noch wie ein Widerspruch. Dann kommt eine Challenge daher, bei der eine Milliarde Zeilen Wetterdaten verarbeitet werden sollen, und plötzlich wird aus Stammtischwissen ein echter Engineering-Nerdfight. Genau darum geht es in dieser Episode. Wir tauchen tief in die One Billion Row Challenge ein und schauen uns an, wie eine vermeintlich einfache Aufgabe zum internationalen Performance-Contest wurde.
Wir sprechen darüber, warum Gunnar Morling diese Challenge gestartet hat, wie aus einer naiven Lösung mit fast fünf Minuten Laufzeit optimierte Implementierungen mit rund 1,5 Sekunden wurden und welche Rolle dabei Java, GraalVM, Memory Mapping, Unsafe, SIMD, Branchless Coding, Hashmaps, Cache-Lines und Integer-Arithmetik spielen. Außerdem schauen wir auf die Kritik an der Challenge, etwa RAM-Disk, Dataset-Overfitting und CPU-spezifische Optimierungen, und wir werfen einen Blick auf alternative Umsetzungen in C, Go, PHP, SQL, DuckDB, ClickHouse, AWK und sogar auf GPU-Ansätze.
Wenn du Performance-Optimierung nicht nur als Buzzword, sondern als Mischung aus Hardware-Verständnis, Datenstrukturen, Compiler-Wissen und Community-Lernen sehen willst, bist du hier genau richtig. Und ganz nebenbei klären wir auch noch, ob Java wirklich langsam ist oder ob dieser Mythos endlich in Rente darf.
Bonus: AWK schafft es in elf Zeilen. Nicht schnell, aber stilvoll.
Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners
Das schnelle Feedback zur Episode:
👍 (top) 👎 (geht so)
Anregungen, Gedanken, Themen und Wünsche
Dein Feedback zählt! Erreiche uns über einen der folgenden Kanäle …
EngKiosk Community: https://engineeringkiosk.dev/join-discord
LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
Email:
[email protected]Mastodon: https://podcasts.social/@engkiosk
Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
Instagram: https://www.instagram.com/engineeringkiosk/
Unterstütze den Engineering Kiosk
Wenn du uns etwas Gutes tun möchtest … Kaffee schmeckt uns immer
Buy us a coffee: https://engineeringkiosk.dev/kaffee
Links
Gunnar Morling: https://www.morling.dev/
Blog Post “The One Billion Row Challenge”: https://www.morling.dev/blog/one-billion-row-challenge/
1brc Github Repository: https://github.com/gunnarmorling/1brc
The Software Development Kit Manager: https://sdkman.io/
1BRC Show and Tell: https://github.com/gunnarmorling/1brc/discussions/categories/show-and-tell
JEP 471: Deprecate the Memory-Access Methods in sun.misc.Unsafe for Removal: https://openjdk.org/jeps/471
GraalVM: https://www.graalvm.org/
Aleksey Shipilëv’s Submission mit 187 Zeilen Kommentar: https://github.com/gunnarmorling/1brc/blob/main/src/main/java/dev/morling/onebrc/CalculateAverage_shipilev.java
Fastest known solution: 0.577s (8 core Zen2); C with heavy AVX2: https://github.com/gunnarmorling/1brc/discussions/710
AWK-Lösungen: https://github.com/gunnarmorling/1brc/discussions/171
AWK in 11 Zeilen: https://github.com/emiruz/1brc/blob/main/1brc.awk
1BRC mit DuckDB: https://rmoff.net/2024/01/03/1%EF%B8%8F%E2%83%A3%EF%B8%8F-1brc-in-sql-with-duckdb/
1BRC mit Clickhouse: https://ftisiot.net/posts/1brows/
One Trillion Row Challenge: https://github.com/coiled/1trc
The One Billion Row Challenge in Go: from 1m45s to 3.4s in nine solutions: https://benhoyt.com/writings/go-1brc/
Processing One Billion Rows in PHP!: https://dev.to/realflowcontrol/processing-one-billion-rows-in-php-3eg0/
1BRC in PHP FFI + Rust: https://gianlucafabrizi.dev/blog/posts/1brc-php-ffi/
Dask (Parallel Python): https://www.dask.org/
1BRC–Nerd Sniping the Java Community: https://www.infoq.com/presentations/1brc/
The Billion Row Challenge (1BRC) - Step-by-step from 71s to 1.7s: https://questdb.com/blog/billion-row-challenge-step-by-step/
1BRC merykitty’s Magic SWAR: 8 Lines of Code Explained in 3,000 Words: https://questdb.com/blog/1brc-merykittys-magic-swar/
Path to the Fastest #1BRC Solution: https://github.com/thomaswue/1brc-steps
1BRC - What a Journey: https://www.esolutions.tech/1brc-what-a-journey
Gewinner der 1BRC Thomas Wuerthinger: https://www.linkedin.com/in/thomaswue/
Zenbleed: https://lock.cmpxchg8b.com/zenbleed.html
Engineering Kiosk Episode #180 Skalierung, aber zu welchem Preis? (Papers We Love): https://engineeringkiosk.dev/podcast/episode/180-skalierung-aber-zu-welchem-preis-papers-we-love/
mmap: https://en.wikipedia.org/wiki/Mmap
Sprungmarken
(00:00:00) One Billion Row Challenge und der Java-Performance-Mythos
(00:04:25) Info/Werbung
(00:05:25) One Billion Row Challenge und der Java-Performance-Mythos
(00:07:07) Die Challenge: 1 Milliarde Wetterdaten und ein viraler Benchmark
(00:13:00) Testsetup, Hetzner-Server und erste Laufzeit-Schätzungen
(00:17:05) Von 4 Minuten auf 1,5 Sekunden: Gewinner, GraalVM und Bonuslisten
(00:21:35) Kritik am Benchmark: RAM-Disk, Overfitting und Realitätsbezug
(00:25:03) Erste Optimierungen: Parallelisierung, lokale Hashmaps und Dateisplits
(00:26:59) Memory Mapping, Unsafe und Garbage Collection vermeiden
(00:34:38) Custom Hashmaps, Cache Lines und Integer statt Float
(00:38:30) Temperatur-Parsing auf Bit-Ebene und ALU-Operationen
(00:42:02) SIMD, SWAR und Branchless Coding auf CPU-Ebene
(00:49:53) GraalVM als Performance-Hebel und ein kreativer Prozess-Hack
(00:54:05) Andere Sprachen im Vergleich: C, Go, PHP, AWK und SQL
(00:59:20) Warum die GPU hier nicht automatisch gewinnt
(01:01:44) Was bringt das im Alltag? Kritik, Learnings und Team-Challenges
Hosts
Wolfgang Gassler (https://gassler.dev)
Andy Grunwald (https://andygrunwald.com/)
Community
Diskutiere mit uns und vielen anderen Tech-Spezialist⋅innen in unserer Engineering Kiosk Community unter https://engineeringkiosk.dev/join-discord
Deutschland