Chain-of-Thought Reasoning (CoT)
Chain-of-Thought Reasoning ist eine Prompting-Technik, bei der ein LLM angewiesen wird, seinen Denkprozess schrittweise zu externalisieren, bevor es die Antwort gibt. Eingeführt von Wei et al. (2022).
Details
Grundidee
Statt direkt zu antworten, wird das Modell aufgefordert, intermediate Denkschritte aufzuschreiben:
Standard: "Was ist 17 × 24?" → direkte Antwort (fehleranfällig)
CoT: "Was ist 17 × 24? Denke schrittweise."
→ "17 × 20 = 340. 17 × 4 = 68. 340 + 68 = 408." → 408
Warum CoT funktioniert
- Externalisierende Arbeitsgedächtnisfunktion: LLM kann Zwischenergebnisse nutzen, ohne sie “vergessen”
- Jeder Schritt ist ein zusätzlicher Forward-Pass-Kontext → spätere Tokens konditionieren auf korrektere Prämissen
- Analogie: Menschen lösen komplexe Probleme durch lautes Denken besser (→ Dual-Process Theory: CoT erzwingt System 2)
Empirische Befunde (Wei et al., 2022)
- GSM8K (Matheaufgaben): Standardprompting 17.7% → CoT 78.7% auf PaLM 540B
- Emergiert ab ca. 100B Parametern (nicht bei kleinen Modellen)
- Zero-shot CoT: nur “Let’s think step by step” hinzufügen → reicht oft aus
Varianten
| Variante | Idee |
|---|---|
| Few-shot CoT | Beispiele mit Lösungsweg im Prompt |
| Zero-shot CoT | ”Think step by step” ohne Beispiele |
| ARQ | Strukturierter Fragenkatalog vor Antwort (→ 8 Prompting Techniques for Better LLM Outputs) |
| Tree of Thought | Mehrere Denkpfade parallel, bestes auswählen |
| ReAct | CoT + externe Toolnutzung abwechselnd |
Grenzen
- CoT ist kein “echtes Denken” — das Modell kann plausible aber falsche Ketten produzieren
- “Faithfulness”-Problem: die Kette muss nicht die tatsächliche interne Berechnung widerspiegeln
- Teuer: mehr Tokens → höhere Kosten und Latenz
See also
Tags: ai llm prompting
Superlink: Large Language Models
Verbindungen
- Large Language Models — Technik für LLMs
- Dual-Process Theory — CoT als System-2-Proxy
- Working Memory — CoT externalisiert Arbeitsgedächtnisfunktionen
- 8 Prompting Techniques for Better LLM Outputs
Created: 06/05/26