Das Seminar dreht sich um die Anwendung von Deep Learning im Bereich EEG. Momentan ist nichts im Bereich MRI geplant, wir können das aber gemeinsam diskutieren. Wir möchten mit dem Seminar einen Einstieg in dieses wirklich spannende Thema bieten und euch motivieren, auch abseits von der “klassischen” Bildgebung – also allem, was wirklich Bilder erzeugt – den Nutzen von Artificial Intelligence zu erkunden.
Unser Ziel ist es, euch möglichst viel Freiheit bei den Projekten zu bieten und gleichzeitig zu einem interessanten und sinnvollem Ergebnis zu kommen. Daher sind für die Projekte Aufgabenschwerpunkte beschrieben, die von euch bearbeitet werden sollen. Diese ähneln sich größtenteils für die unterschiedlichen Projekte. Aufgrund der unterschiedlichen Themen ist der Fokus jedoch zumeist leicht verschoben.
Im Folgenden findet ihr eine Beschreibung der Projekte. Schaut euch die Paper an (Abstracts lesen) und überlegt, was eurer Neigung entspricht. Ein Projekt kann auch von mehr als einem Team bearbeitet werden – es wäre aber toll, wenn nicht alle das Gleiche wählen.
Noch eine extra Anmerkung: Zu allen Projekten gibt es GitHub Repos. Wir empfehlen euch aber, die Implementierung zunächst selbst anzugehen. Das bringt euch mehr als Copy-and-paste am Ende. Solltet ihr nicht weiterkommen, versuchen wir euch zu unterstützen. Haben wir auch keine Idee, könnt ihr natürlich gerne auf die Repos zurückgreifen und schauen, wie es da gemacht wurde.
Für Neurologen ist die Arbeit mit EEG-Daten ein unerlässliches Werkzeug. Ob bei Epilepsie-Patienten oder im Bereich der Schlafüberwachung. Um die EEG-Daten richtig und vor allem verlässlich interpretieren zu können, bedarf es in der Regel Erfahrung und ein geschultes Auge. Um diese Arbeit in naher Zukunft zu vereinfachen und auch bei komplexen EEG-Datensätzen eine verlässliche Einschätzung zu erhalten, ist der Einsatz von Machine Learning Algorithmen von Interesse. Da wir in diesem Seminar den Fokus auf Deep Learning legen, ist das Ziel dieses Projektes Neuronale Netze einzusetzen, um Klassifikationsaufgaben zu bewältigen.
Eine wichtige Frage, die sich im Vorfeld stellt, ist die des Preprocessings. EEG-Messungen sind teuer hinsichtlich des zeitlichen Aufwands, weshalb viele Datensätzen nur wenige Teilnehmende haben. Daher sollt ihr in diesem Teil untersuchen, welche Möglichkeiten des Preprocessing es gibt, um aus einem kleinen Datensatz möglichst viele Trainingsbeispiele zu erzeugen. Des Weiteren sollt ihr den Einfluss verschiedener Preprocessing-Schritte wie z. B. dem Einsatz von Bandpass-Filtern auf das Ergebnis austesten. Eine Frage wäre z. B., ob ein Modell nur anhand eines kleinen Frequenzbandes lernen kann, um welche Aufgabe/ Handlung es sich bei dem durchgeführten Experiment gehandelt hat.
Die Modelle, die von euch implementiert werden sollen, sind zunächst die Modelle des Papers (Q1). Es handelt sich hierbei ausschließlich um Convolutional Neural Networks. An dieser Stelle ein Hinweis: Alle Modelle sind in Braindecode enthalten. Nichtsdestotrotz soll versucht werden, Modelle und Parameter selbst einzustellen. Sollte dies nicht funktionieren, kann immer noch auf die bereits vorhandenen zurückgegriffen werden. Eine Implementierung von Modellen ist immer eine gute Übung.
Diese Aufgabe zielt darauf ab, die Entscheidungen der Modelle nachzuvollziehen. Dafür sollt ihr im Wesentlichen zwei Ansätze verfolgen
Einen Startpunkt/ Hilfe bietet hier (Q.2). Das ist natürlich schon ordentlich vom Arbeitsaufwand her, aber vielleicht schafft ihr das ja!
Abgesehen von den in den Papern genutzten Convolutional Neural Networks, existieren weitere Netzwerkarchitekturen. Für diesen Aufgabenteil sollt ihr entweder eine rekurrente Netzwerkstruktur oder Modelle mit Attention erproben. Ihr implementiert die Modelle am besten händisch. Es gibt in PyTorch aber z. B. auch einen Transformer, der angepasst werden kann. Nach erfolgtem Hyperparameter Tuning könnt ihr die Ergebnisse mit den in Aufgabengebiet 2. erzeugten Resultaten vergleichen.
EEG-Daten, insbesondere gelabelte, sind in der Regel teuer in der Beschaffung - oft fehlen Zeit, die nötige Anzahl an Probanden und auch geschultes Personal, welches die Daten mit Labeln versieht. Aus diesem Grund ist das Interesse an unüberwachtem (unsupervised) oder selbst-überwachtem, (self-supervised, SSL) Lernen für EEG, wie für medizinische Datensätze generell, groß.
Für dieses Projekt beschränken wir uns auf SSL. Das Ziel ist es, ein erstes Gefühl für das Thema zu bekommen. Die Literatur ist eher sparse in diesem Bereich und die Forschung an dem Thema steckt noch in den Kinderschuhen. Nichtsdestotrotz, ist es einen Blick wert.
In den unten angegebenen Quellen (das Paper unter 2 ist die ausführliche Version) werden Methodiken präsentiert, um SSL auf EEG-Daten anzuwenden. Ihr sollt (aus Paper 2) zunächst eines der beiden Datensets wählen (geht dabei nach Interesse). Ihr verfolgt die Schritte zum Preprocessing und visualisiert das Ergebnis anhand eines Beispiels.
Im Paper werden verschiedene SSL - Techniken vorgestellt. Das relative positioning sollt ihr einmal selbst implementieren und ausprobieren. Ihr könnt euch dann auch gerne noch ans temporal shuffling machen, solltet ihr genug Zeit machen.
In Paper 2 werden einige Modelle vorgestellt. Die für uns wichtigen Architekturen sind die neuen SSL Modelle. Die Baselines oder auch Vergleichsmodelle sind nicht von Interesse. Wählt ein SSL-Modell und implementiert dieses. Trainiert das Modell mit dem im Paper angegeben Loss (ebenfalls selbst implementieren) und optimiert die Hyperparameter.
Die Visualisierung der Ergebnisse ist von Interesse. Ihr benötigt die PyRiemann Library, um die Latent Spaces nachzustellen. Ist das zu kompliziert oder zeitaufwendig, überlegt euch eigene Visualisierungen (visualisiert z. B. einzelne Dimensionen des latent space/ feature vectors). Das ist also ein etwas kreativer Part.
Wenn ihr genug Zeit habt, probiert das Preprocessing zu ändern und erneut zu trainieren. Was ändert sich im latent space? Sind gewisse Preprocessing Schritte unentbehrlich? Was passiert mit den Feature-Vektoren? Sollte sich die Visualisierung als zu kompliziert herausstellen, könnte man Visualisierung und diesen Punkt tauschen.
Eine der mitunter wichtigsten Fragen ist die nach der Quelle eines EEG-Signals. Da EEG-Messungen nicht-invasiv sind, messen wir nur, was als elektrische-und/oder magnetische Feldsignale durch den Schädel zu den Elektroden dringt. Der Schädel hat jedoch einen starken Einfluss darauf. Daher ist es sehr schwierig, auf Grundlage der Elektrodensignale, zu bestimmen, welches Areal im Hirn für das Signal verantwortlich ist - das Source localisation problem ist ill-posed.
Um eine Lösung für das inverse Problem zu finden, werden Methoden wie Minimum Norm Estimation (MNE) oder eLoreta eingesetzt. Als Alternative zu solchen “herkömmlichen” Verfahren, wurde kürzlich der Einsatz von Artificial Neural Networks (ANNs) zur Lösung des Problems untersucht (1). Ziel dieses Projektes ist es daher, sich mit der Lösung des inversen Problems auseinanderzusetzen und den Einsatz Neuronaler Netze zu erproben.
Remark: Für dieses Projekt gibt es keine vorgefertigte Library, welche die bereits trainierbaren Modelle enthält. Daher ist dieses Projekt eher explorativer Natur.
Wie bereits erklärt, sind EEG-Daten rar. Insbesonders, fehlen bei realen EEG-Datensätzen die “Ground Truth”-Daten, also eine Rekonstruktion der Quellen im Gehirn. Glücklicherweise, könnt ihr mit MNE die Daten erzeugen. Beispielhaft exisitert hierzu ein Notebook mit Notizen. Die Parameter findet ihr im Paper. Anschließend implementiert/ nutzt ihr die Preprocessing Schritte. Im besten Fall gehören diese zu eurer Datapipeline dazu.
Genau wie bei allen anderen Projekten, sollt ihr auch hier das Modell aus dem Paper implementieren. Da das diejenigen, die bereits Introduction to DL oder weiterführendes gehört haben, nicht vor Probleme stellen wird, könnt ihr gerne eine Vergleichsarchitektur implementieren – wie wäre es z. B. mit einer Art U-Net? Oder einem Transformer-Netzwerk?
Die Ergebnisse des Trainings sowie die Predictions des Netzwerkes auf einem Testset können einfach und effizient visualisiert werden (MNE oder Matplotlib). Wie sehen eure Ergebnisse im Vergleich zum Paper aus?
Neuronale Netze (NNs) werden im Allgemeinen als “Black Boxes” angesehen. Die Entscheidungen von NNs sind zumeist schwer interpretierbar/ visualisierbar. Diese Tatsache kollidiert mit dem Bedarf nach interpretierbaren und sicheren Entscheidungen in anwendungsorientierten Bereichen wie der Medizin oder dem autonomen Fahren. Dementsprechend, stehen Wissenschaftler vor dem gleichen Problem bei der Arbeit mit EEG-Daten. Daher ist es Ziel dieses Projektes, auf Grundlage von Quelle 1, sich näher mit interpretierbaren und visualisierbaren Entscheidungen auseinanderzusetzen und auf ein Datenset anzuwenden.
Basierend auf dem Paper von Prof. Stober, sollen die Daten für das Training vorbereitet werden. Es ist euch freigestellt, ein anderes Datenset zu wählen. MNE und Braindecode bieten euch da einige Optionen (z.B. eines der Motor Imaging Sets). Ihr wendet das im Paper beschriebene Preprocessing auf euren gewählten Datensatz an (soweit notwendig).
Das unten angegebene Paper zeichnet sich insbesonders durch die angewandten Trainingsstrategien aus. Das ist zum einen das Cross-Trial Encoding und zum anderen das Similarity-Constraint Encoding. Ihr sollt bitte beide Strategien implementieren. Wird die Zeit doch zu knapp, entscheidet euch zunächst für eine der beiden Varianten.
Die Modelle sind allesamt Convolutional Neural Networks, dementsprechend ist die Implementierung straightforward. Ihr könnt euch auch gerne am Hydra-Net probieren. Allerdings solltet ihr bei Convolution bleiben, die Visualisierung ist da leichter.
Trainiert eure Modelle mit den obigen Trainingsstrategien. Fertigt anschließend auch solche “topographic Maps”, um zu sehen, ob ihr Feature encoden konntet. Auch wenn ihr vielleicht keine direkte Interpretation findet (aufgrund mangelnder neurowissenschaftlicher Kenntnisse), könnten die Ergebnisse an sich konsistent sein.
Wenn ihr eine Note wollt, solltet ihr die Ergebnisse vorstellen. Dies geschieht entweder durch eine Abschlusspräsentation im Rahmen des Seminars oder durch Anfertigung eines Notebooks, an dem Sachen probiert werden können und ihr eine kleine Demo durchführt.
Im Falle der Präsentation sollten die folgenden drei Themengebiete vorgestellt werden. Solltet ihr euch für das interaktive Notebook entscheiden, könnt ihr den 1. Punkt im Notebook zum Nachlesen zusammenfassen.
Fasst die gelesenen Paper kurz zusammen und geht auf die wesentlichen Erkenntnisse ein. Welche Relevanz hat das Paper, was ist wichtiges Hintergrundwissen (Bereich Neuroscience, AI)?
Hier stellt ihr eure Implementierung der Modelle, des Preprocessing und/ oder Visualisierung vor. Alles, was ihr benutzt habt, aber nicht selbst implementiert, solltet ihr zumindest benennen.
Abschließen stellt ihr die erzielten Ergebnisse vor. Dies kann vergleichend (haben wir die Resultate der Paper erreicht/ verbessert etc.)oder auch rein informativ erfolgen (was sehen wir, was lernen wir daraus?). Besonderes Augenmerk sollte auf eine ansprechende und korrekte Darstellung gelegt werden.
Die Teammitglieder beantworten Fragen und diskutieren ihre Ergebnisse mit den anderen Teams.
Habt ihr Fragen?