Full Self-Driving ist Teslas ambitiösestes Projekt. Aber wie funktioniert es eigentlich? Was passiert in den Millisekunden zwischen dem Kamerabild und der Entscheidung, zu bremsen, zu lenken oder zu beschleunigen? Dieser Artikel erklärt die technische Architektur – ohne Informatikstudium vorauszusetzen.
Die Grundidee: Ende-zu-Ende
Was "Ende-zu-Ende" bedeutet
Bis FSD v11 (2023) funktionierte Teslas Autopilot wie ein Baukasten:
- Erkennung: "Da ist ein Auto, da ist eine Ampel, da ist ein Fußgänger"
- Planung: "Ich muss bremsen, weil die Ampel rot ist"
- Steuerung: "Bremspedal mit X Newton betätigen"
Jeder Schritt war ein separates System, von Ingenieuren programmiert. Das Problem: Hundertausende Sonderfälle mussten manuell behandelt werden. Was tun bei einem Polizisten, der den Verkehr regelt? Bei einer Baustelle mit widersprüchlicher Beschilderung? Bei einem Ball, der auf die Straße rollt?
Ab FSD v12 (Anfang 2024) wechselte Tesla zum Ende-zu-Ende-Ansatz:
Input: 8 Kamerabilder + Fahrzeugsensoren → Ein einziges neuronales Netz → Output: Lenkwinkel, Gas, Bremse
Kein manueller Code mehr. Das Netz lernt direkt aus Fahrdaten, wie ein Mensch fahren würde. Es sieht, was die Kameras sehen, und gibt die Steuerbefehle aus, die ein erfahrener Fahrer geben würde.
Die Hardware: Was im Auto steckt
Die Kamera-Suite
Jeder Tesla hat 8 Kameras (seit HW3):
| Kamera | Position | Sichtfeld | Reichweite |
|---|---|---|---|
| Front Main | Windschutzscheibe | 36° | 250 m |
| Front Wide | Windschutzscheibe | 120° | 60 m |
| Front Narrow | Windschutzscheibe | 35° | 300 m |
| Side Left Forward | B-Säule links | 80° | 80 m |
| Side Right Forward | B-Säule rechts | 80° | 80 m |
| Side Left Rear | Hinterer Kotflügel links | 90° | 100 m |
| Side Right Rear | Hinterer Kotflügel rechts | 90° | 100 m |
| Rear | Heck | 50° | 50 m |
Zusammen erzeugen diese Kameras eine 360°-Abdeckung der Fahrzeugumgebung. Jede Kamera liefert 36 Bilder pro Sekunde in 1280×960 Pixel. Das sind ~2,3 Gigabyte Rohdaten pro Sekunde.
Der Computer: HW4 / AI5
Das "Gehirn" des Systems:
| Chip | HW3 (FSD Computer) | HW4 (AI5) |
|---|---|---|
| Prozessor | 2× Tesla FSD SoC | Tesla AI5 SoC |
| KI-Rechenleistung | 144 TOPS | 500+ TOPS |
| Speicher | 32 GB RAM | 64 GB RAM |
| Kamera-Inputs | 8 | 8 (höhere Auflösung) |
| Stromverbrauch | ~72 W | ~100 W |
| Verfügbar seit | 2019 | 2024 |
TOPS = Tera Operations Per Second. HW4 ist 3,5x leistungsfähiger als HW3 – das ermöglicht komplexere neuronale Netze mit besserer Genauigkeit.
Das neuronale Netz: Von Pixeln zu Fahrhandlungen
Schritt 1: Bildverarbeitung (Vision Backbone)
Die 8 Kamerabilder werden durch ein Convolutional Neural Network (CNN) verarbeitet. Dieses Netz erkennt Muster in den Bildern:
- Niedrige Ebenen: Kanten, Texturen, Farben
- Mittlere Ebenen: Objekte (Autos, Menschen, Schilder)
- Hohe Ebenen: Szenenverständnis (Kreuzung, Autobahn, Parkplatz)
Teslas Vision Backbone basiert auf einer modifizierten RegNet-Architektur – ein effizientes Netz, das auf der begrenzten Rechenleistung des Fahrzeugs optimal läuft.
Schritt 2: Raum-Zeit-Fusion (BEV + Temporal)
Die 2D-Kamerabilder werden in ein 3D-Modell der Umgebung umgewandelt. Tesla nennt das die "Bird's-Eye View" (BEV) Repräsentation.
Wie das funktioniert:
- Die Kamerabilder werden mit Transformer-Attention fusioniert
- Das System "weiß", wo jede Kamera montiert ist (Kalibrierung)
- Aus den 2D-Bildern wird eine 3D-Occupancy-Map berechnet: Welcher Raum um das Auto ist frei, welcher ist besetzt?
Der temporale Aspekt ist entscheidend: Das Netz schaut nicht nur auf das aktuelle Bild, sondern auf die letzten 2-3 Sekunden. So kann es Geschwindigkeiten, Richtungen und Absichten anderer Verkehrsteilnehmer einschätzen.
Schritt 3: Planung (Planner Network)
Das Planner Network ist das Herzstück. Es erhält:
- Die 3D-Occupancy-Map
- Die Fahrzeugposition und -geschwindigkeit
- Die Navigationsvorgabe (wohin soll das Auto?)
- Die Verkehrsregeln (implizit aus den Trainingsdaten gelernt)
Output: Eine Trajektorie – ein geplanter Pfad für die nächsten 5-10 Sekunden. Diese Trajektorie definiert:
- Wohin das Auto lenkt
- Wie schnell es fährt
- Ob es bremst oder beschleunigt
- Ob es den Blinker setzt
Schritt 4: Steuerung (Control)
Die geplante Trajektorie wird in konkrete Steuerbefehle umgesetzt:
- Lenkwinkel: ±450° (Mikrograd-Genauigkeit)
- Bremsdruck: 0-100% (in Newton)
- Gas: 0-100% (Drehmoment-Anforderung)
Dieser Schritt läuft noch teilweise klassisch (PID-Controller), nicht neuronal. Das sorgt für Stabilität und Sicherheit.
Die Trainingspipeline: Wie das Netz lernt
Datensammlung
Jeder Tesla mit aktiviertem Autopilot sammelt Daten:
| Metrik | Wert |
|---|---|
| Teslas auf der Straße | ~7 Millionen |
| Gefahrene Autopilot-Meilen | >3 Milliarden |
| Neue Daten pro Tag | ~100 Millionen Meilen |
| Gesammelte Video-Clips pro Tag | ~10 Millionen |
Tesla wählt nicht zufällig aus. Ein System namens "Auto-Labeling" und "Triggers" identifiziert die wertvollsten Szenarien:
- Situationen, in denen der Fahrer eingegriffen hat
- Seltene Szenarien (Tiere, ungewöhnliche Kreuzungen)
- Edge Cases (Baustellen, Rettungsfahrzeuge, Wetterextreme)
Dojo: Teslas eigener Supercomputer
Um die Netze zu trainieren, braucht Tesla enorme Rechenleistung:
| System | Leistung |
|---|---|
| GPU-Cluster (NVIDIA H100) | ~30.000 GPUs |
| Dojo (eigene Hardware) | 100+ ExaFLOPS (geplant) |
| Trainingszeit pro Modell-Version | ~2-4 Wochen |
| Geschätzte Trainingskosten/Jahr | 2+ Mrd. USD |
Dojo ist Teslas eigener Trainings-Supercomputer mit selbst entwickelten Chips. Die D1-Chips sind speziell für Video-Training optimiert – schnellerer Datendurchsatz als GPU-basierte Systeme.
Simulations-Training
Nicht alles kann mit echten Daten trainiert werden. Für seltene Szenarien nutzt Tesla Simulation:
- Crash-Szenarien: Zu gefährlich für echte Daten
- Extremwetter: Schwer reproduzierbar
- Edge Cases: Tiere auf der Autobahn, umgestürzte Bäume
Die Simulation generiert fotorealistische Szenarien und trainiert das Netz damit.
FSD v14: Was sich geändert hat
Die neueste FSD-Version bringt entscheidende Verbesserungen:
Multimodales Netz
FSD v14 verarbeitet nicht nur Kamerabilder, sondern auch:
- GPS-Daten: Hochpräzise Positionierung
- Kartendaten: Straßentopologie, Geschwindigkeitsbegrenzungen
- Fahrzeug-Telemetrie: Geschwindigkeit, Beschleunigung, Reifenzustand
World Model
Das neueste Feature: Ein World Model, das die Zukunft vorhersagt. Das Netz simuliert intern, was in den nächsten 5 Sekunden passieren wird:
- "Der Fußgänger wird wahrscheinlich die Straße überqueren"
- "Das Auto vor mir wird wahrscheinlich bremsen"
- "Die Ampel wird wahrscheinlich gleich gelb"
Diese Vorhersagen ermöglichen proaktives statt reaktives Fahren.
Verbesserte Latenz
| Metrik | FSD v12 | FSD v14 |
|---|---|---|
| Erkennung → Reaktion | ~100 ms | ~50 ms |
| Planungs-Zyklus | 10 Hz | 20 Hz |
| Kamera-zu-Steuerung | ~150 ms | ~80 ms |
Zum Vergleich: Ein Mensch braucht ~250-500 ms von der Wahrnehmung zur Reaktion. FSD v14 ist 5-10x schneller.
Die Grenzen: Was FSD nicht kann
Trotz aller Fortschritte hat FSD echte Limitierungen:
Technische Grenzen
- Extreme Wetterbedingungen: Starker Regen, Schnee, Gegenlicht
- Unmarkierte Straßen: Feldwege, Parkplätze ohne Markierung
- Komplexe Baustellen: Widersprüchliche Beschilderung
- Ungewöhnliche Objekte: Dinge, die das Netz nie gesehen hat
Regulatorische Grenzen
In Europa ist FSD aktuell auf Level 2 beschränkt: Der Fahrer muss jederzeit aufmerksam sein und eingreifen können. Das System ist ein Assistent, kein autonomer Fahrer.
Was kommt als nächstes?
FSD v15 und darüber hinaus
Teslas Roadmap für die nächsten Versionen:
- Multimodale Sensorfusion: Integration von Radar (HW5)
- Besseres World Model: Längere Vorhersage-Horizonte
- Personalisierung: Das Netz lernt deinen Fahrstil
- Level 3/4: Regulatorische Zulassung für bestimmte Szenarien
- Robotaxi: Kein Fahrer mehr nötig (Cybercab)
Fazit
Teslas FSD ist das ambitionierteste KI-Projekt in der Automobilindustrie. Der Wechsel zu Ende-zu-Ende-Learning ab v12 war ein Paradigmenwechsel: Statt Millionen Zeilen Code schreibt das neuronale Netz seine eigenen Regeln – basierend auf Milliarden gefahrener Kilometer.
Das System ist noch nicht perfekt. Phantom Braking, Edge Cases und regulatorische Hürden bleiben. Aber die Richtung ist klar: Jede Version ist besser als die vorherige, und das Tempo der Verbesserung beschleunigt sich.
Ob FSD jemals Level 5 (vollständige Autonomie, überall, jederzeit) erreicht, ist offen. Aber die Technologie dahinter – die Kombination aus massiver Datensammlung, eigenem Supercomputer, eigenen Chips und Ende-zu-Ende-Learning – gibt Tesla einen Vorsprung, den kein anderer Hersteller in absehbarer Zeit aufholen kann.