ai-generated methods-of-ai exam-prep
Mo 1. Juni 2026, 10:00 · Wachsbleiche Raum 50/315 · Prüfer: Kai-Uwe Kühnberger
Schwerpunkte (mit ihm vereinbart): (Local) Search · CSP · Machine Learning.
Erlaubt: alles mitbringen (→ dieses Sheet + Paper-Cheatsheet ausdrucken!). Keine Slides nötig.
🗺️ Ablauf der gesamten Prüfung
| # | Phase | Dauer (ca.) | Was passiert |
|---|---|---|---|
| 1 | Begrüßung / Ankommen | 1–2 min | Smalltalk, kurz durchatmen. Nicht sofort lossprinten. |
| 2 | Paper-Präsentation | 10–15 min | Du redest weitgehend frei (siehe Redeplan unten). |
| 3 | Diskussion zum Paper | offen | Kühnberger hakt nach: Methode, Kritik, Einordnung. |
| 4 | Offene AI-Diskussion + Schwerpunkte | offen | Breites AI-Basiswissen + Tiefe in Search · CSP · ML. |
| 5 | Abschluss / Note | kurz | Kurze Rückmeldung. |
Steuer-Trick
Lass am Ende der Präsentation bewusst Haken offen, die in deine Schwerpunkte führen (klassische Search/BFS-DFS-A*, neuro-symbolische Hybride, Scaling/ML). Dann geht die Diskussion dorthin, wo du stark bist.
⏱️ Die 15 min: 3 Blöcke (kurz vorstellen → kritisch bewerten → einordnen)
| Block | Zeit | Inhalt |
|---|---|---|
| 1. Vorstellen | ~5 min | RQ → Setup → gelernter Algorithmus → Ergebnisse |
| 2. Kritisch bewerten | ~4 min | Stärken + Schwächen — hier punktest du |
| 3. Einordnen | ~4 min | LLM-Reasoning-Debatte · Scaling/Emergence · Neuro-symbolische KI · klassische Search |
Faustregel: Wenige Punkte sauber > alles aufzählen.
🎤 Block 1 — Vorstellen (~5 min, Sprech-Gerüst)
- Was & warum — „Transformers Struggle to Learn to Search”, Saparov et al. 2024. Thema = Search, die Grundlage von Reasoning/Planning. Frage: zu wenig Daten, zu wenig Parameter, oder Architektur-Limit?
- Testbed — minimal: Graph-Connectivity (DAG, Start→Ziel, nächsten Knoten ausgeben). = Proof-Search in Logik (Knoten=Fakten, Kanten=Implikationen) → Untergrenze für Kompetenz.
- Schwierigkeit = Lookahead — wie weit vorausschauen, bevor man den 1. Zug sicher festlegt. Limitless data → „zu wenig Daten” ausgeschlossen.
- Methodischer Kern = Trainingsverteilung — Naïve → nur kleine Lookaheads → Shortcuts. Nur Balanced (Lookahead uniform, Shortcuts raus) → lernt Suche fast perfekt. 1. Botschaft: ob ein Transformer Suche lernt, hängt stark an den Daten.
- Echte Contribution = Mechanistic Interpretability — Activation Patching, Computation-Graph rekonstruieren ohne Algorithmus anzunehmen → gefunden: Exponential Path-Merging (jeder Knoten speichert erreichbare Menge; pro Layer Union → verdoppelt sich → Suche exponentiell in Layern ≈ transitive Hülle in log-Tiefe).
- 3 Ergebnisse — (i) größere Graphen → schwerer, mehr Parameter helfen nicht; (ii) CoT (DFS/Selection-Inference) → konstante Layer, scheitert aber weiter auf großen Graphen; (iii) Fazit: Scaling allein gibt keine robuste Suche → braucht anderes Training (Curriculum) / Architektur (Looped Transformers).
60-Sek-Notfallversion
„Kleine Transformer lernen Graph-Suche fast perfekt — aber nur mit künstlich balancierter Verteilung, die Shortcuts entfernt. Mechanistisch: Exponential Path-Merging (erreichbare Mengen verdoppeln pro Layer). Größere Graphen brechen das — und weder mehr Parameter noch CoT fixen es. Fazit: robuste Suche ist kein reines Scaling-Problem.”
⚔️ Block 2 — Kritik (Leitlinie: Learnability ≠ Expressivity)
- Titel überreizt: zeigt Trainierbarkeit (Seed-Varianz, Verteilungssensitivität, Nicht-Konvergenz), nicht ein Repräsentations-Limit. Merrill & Sabharwal: CoT-Transformer können Suche darstellen (∈ P ⊇ Connectivity); das eigene Positiv-Ergebnis (Balanced) zeigt: dieselbe Architektur lernt Suche → also Daten/Optimierung, nicht Architektur.
- Rebuttal parat: „Aber mehr Parameter helfen nicht (Fig. 7)!” → bleibt ein Trainierbarkeits-Statement im winzigen Regime, sagt nichts über Repräsentierbarkeit / Frontier-Scale.
- Extrapolations-Lücke: dim 16, ≤60M Params — 3–4 Größenordnungen unter GPT-Klasse.
- Mech-interp-Methode = echte, wiederverwendbare Contribution (fair bleiben → Credit geben).
🌐 Block 3 — Einordnen (Brücken in deine Schwerpunkte)
- Reasoning vs. Pattern-Matching (Kambhampati, Bachmann & Nagarajan).
- Scaling-Laws & Emergence — Wei vs. Schaeffer („mirage”) → Paper = Gegenbeispiel zum Scaling-Optimismus.
- 🌟 Neuro-symbolische KI (Kühnbergers Turf!): klassische Search (BFS/DFS/A*) ist beweisbar korrekt & skaliert; gelernte Transformer nur approximativ → Argument für Hybride (Suche an symbolische Solver auslagern).
- Brücke (Local) Search: Path-Merging = paralleler, transitive-Hülle-artiger Aufbau aller Knoten gleichzeitig — nicht sequentielle Frontier-Expansion wie BFS/DFS; ~log(L) Layer. CoT-DFS-Variante ↔ Vorlesungs-DFS.
Vor der Prüfung
Block-1-Script 3× laut mit Timer sprechen. Blöcke 2 & 3 frei aus Bullets. Tiefe via quiz_paper-transformers-search_28-05-26 + Quiz Exam Schwerpunkte.
Voll-Dossier: pruefung_paper-transformers-search_25-05-26 · Paper-Inhalt-Spick: Cheatsheet_Paper-Transformers-Search · Superlink: Methods of AI Lecture