Neural Encoding with Deep Neural Networks

Course: SoSe 2026, University of Osnabrück. Building brain encoding models that predict fixation-aligned MEG responses from DNN visual features. Core challenge: generalise from 5 training subjects to a held-out participant (subject 60) using the AVS dataset.

Working repo: meg-encoding-course-tbd | Reference repo: MEG-Encoding-Course

Course Notes

BrainEncoding26 Challenge – Course Overview — dataset, challenge structure, pipeline, notebook overview
BrainEncoding26 – Research Ideas & Implementation — 6 PyTorch-ready ideas from recent literature (CLIP backbone, multi-layer features, dual-stream, MLP head, subject adapters, contrastive alignment)
Neural Encoding – Figure Gallery — alle Figures aus allen Challenges/Notebooks an einem Ort
BrainEncoding26 Challenge 1 – Models and Pipeline Explained — jedes Model + jeder Pipeline-Schritt aus allen 7 Challenge-1-Notebooks im Detail erklärt (Cropping, Pooling, Encoder, RRR, alle Ergebnisse)

Relevante Paper Reviews

Foundation Models für MEG/EEG

MEG-GPT – Transformer Foundation Model for MEG Data — GPT-style autoregressive foundation model auf Cam-CAN (612 subjects); lossless MEG tokeniser; zero-shot decoding 0.41→0.49; lernt bursting dynamics und subject fingerprints (Oxford, 2025)
BrainWave – Brain Signal Foundation Model for Clinical Applications — Erstes EEG+iEEG joint foundation model (13.79 TB, ~16k subjects); Scale Alignment Layer für heterogene Sampling Rates; BERT-style masked spectrogram pretraining; state-of-the-art auf 10 klinischen Diagnose-Datensätzen (Zhejiang/Fudan, 2024)
The Brain’s Bitter Lesson – Scaling Speech Decoding With Self-Supervised Learning — SSL pretext tasks (Band/Phase/Amplitude Prediction) auf unlabelled MEG; zeigt Skalierungsgesetze für speech decoding; non-invasiv ≈ invasiv performance; erste Novel-Subject-Generalisation in MEG (Oxford/DeepMind, ICML 2025)
GPT2MEG – Quantizing MEG for Autoregressive Generation — Vorläufer von MEG-GPT: WaveNet-Quantisierung + GPT-2, conditional simulation von task-evoked activity via Embeddings (Csaky, 2024)
A Systematic Evaluation of Sample-Level Tokenization Strategies for MEG Foundation Models — direkte Folgearbeit zur offenen MEG-GPT-Frage “sind die Tokens biologisch bedeutungsvoll?”; fixed quantization ≈ learned tokenizer außer bei subject fingerprinting (OHBA, 2026)
Scaling Next-Brain-Token Prediction for MEG — skaliert Next-Token-Prediction auf 500+ Stunden über 3 Datensets/Scanner (Cam-CAN+OMEGA→MOUS); SEANet-VQ + Qwen2.5-VL; Warnung: channel-mixing Modelle kollabieren bei Skalierung (Csaky, 2026)

Synthese

MEG-GPT and Kupers 2021 – Bridging Tokenized Transformers with Biophysical Encoding Models — verbindet die Tokenizer/Transformer-Linie (oben) mit dem Kupers-Synchrony-Encoding-Modell (unten): konkreter Test, ob gelernte Tokens implizit die synchron/asynchron-Unterscheidung kodieren; plus Warnungen zu channel-mixing und subject-fingerprinting für die Subject-60-Generalisierung

Biophysikalische Encoding-/Forward-Modelle für MEG

A visual encoding model links magnetoencephalography signals to neural synchrony in human cortex — Stimulus→Kortex→Sensor Encoding-Modell (V1-V3 Retinotopie + Overlapping-Spheres Forward-Modell); zeigt dass MEG-Sensor-Topographie kortikale Synchronie widerspiegelt, nicht nur Quellort; stimulus-locked Response ≈ synchrone Quellen (bimodal), broadband Response ≈ asynchrone Quellen (unimodal) (NYU, NeuroImage 2021)
Kupers Synchrony Diagnostic – Experiment Log — mein Versuch, das bimodale Sync-Muster auf Subject 60’s 110ms-Topographie zu testen; negatives Ergebnis — Muster ist identisch in jedem random Trial-Subset, also wahrscheinlich Gradiometer-Geometrie-Artefakt statt Synchronie. Nächster Schritt: eigenes fsaverage+Benson-Atlas Forward-Modell für unser 204-Kanal Neuromag-Array bauen (braucht Challenge-2-Rohdaten für echten Baseline-Kontrast)
ab welcher fixation prefrontal correaltion
schauen varianz zwischen den subjects
reduced rank regression
Challenge-2-Rohdaten (meg_c2.npy) auf den Cluster holen für echten pre/post-fixation Baseline-Kontrast (siehe Kupers Synchrony Diagnostic – Experiment Log)
eigenes Forward-Modell bauen: fsaverage + Benson-Atlas + unser 204-Kanal Neuromag-Sensor-Layout, um synchron/asynchron V1-V3-Quellen für unser eigenes System zu simulieren
cocalc

Wie ich auf den Server komme

/share/klab/danthes/MEG_Encoding-sose2026/projects/Group2/max

und hier unser repo: /share/klab/danthes/MEG_Encoding-sose2026/projects/Group2/max/meg-encoding-course-tbd

dann: sh-4.4$ sbatch submit/example.sh

und:

sh-4.4$ squeue -u maxherrmann

Lokale Dateien

hier sind meine lokalen sachen:
/Users/maxmacbookpro/Developer/GitHub/meg-encoding-course-tbd

Questions & Ideas

What if we look at this dataset whether subjects remembered the image — then maybe if you take crops of fixation or non-fixation and ask again ,you could try to see whether the periphery of an image contributes to remembering an image
vielleicht kann man aus dem Kupers Paper eine ordentliche Pipeline bauen und damit vielleicht einige lokale Signale von unseren Daten vorhersagen, was vorher vielleicht nicht so möglich war. Das Zeil muss keine super performance auf dem Leaderboard sein, sondern einfach ein cooles Projekt.

Brain Online

Explorer

Neural Encoding with Deep Neural Networks