SS 07: Bayes-Verfahren im Maschinellen Lernen

Arbeitsgruppe
Maschinelles Lernen / Intelligente Datenanalyse

Bayes-Verfahren im Maschinellen Lernen

(HS-Seminar, Vertiefungsveranstaltung)

Termin:	Mittwoch, den 11. Juli 2007 und Donnerstag, den 12. Juli 2007
Raum:	t.b.a.
Dozent:	Prof. Dr. Klaus-Robert Müller/Prof. Dr. Manfred Opper
Ansprechpartner:	Dr. Nicole Krämer [Homepage]

In diesem Seminar werden populäre bayesianische Ansätze innerhalb des Maschinellen Lernens und der Künstlichen Intelligenz diskutiert. Neben einer Einführung in die grundlegenden bayesianischen Techniken werden wir uns auf nichtparametrische Ansätze (z.B. Dirichlet- und Gaußsche Prozesse) für hochdimensionale Daten und deren Implementierung konzentrieren.
Das Seminar richtet sich an Studenten mit Kenntnissen in Wahrscheinlichkeitstheorie. Weiterhin sind grundlegende Erfahrungen im Umgang mit mathematischer Software wie MATLAB oder R notwendig.
Das folgende Buch gibt einen umfassenden Überblick über Bayesianische Verfahren im Maschinellen Lernen:

C.E. Rasmussen, C.K.I.Williams: Gaussian Processes for Machine Learning, MIT Press, 2006

Weitere Informationen findet man auf der Seite

The Gaussian Processes Web Site [link]

Folgende Themen stehen voraussichtlich zur Auswahl. (Die Themen und Referenzen werden laufend aktualisiert.)

Grundlagen der Bayesianischen Statistik
Sampling-Methoden
Bayessche Netzwerke/Probalistische Inferenz
- M.I. Jordan. Learning in Graphical Models. MIT Press, Cambridge, 1999.
- D. MacKay, Information Theory, Inference, and Learning Algorithms . Cambridge University Press, 2003.
  Dieses Buch ist online frei verfügbar. [link]
Belief Propagation
T. Minka. A family of algorithms for approximate Bayesian inference" . PhD Thesis, MIT, 2001.
Dynamische Bayessche Netzwerke
K. Murphy. Dynamic Bayesian Networks: Representation, Inference and Learning . PhD Thesis, UC Berkeley, Computer Science Division, 2002.
Laplace-Approximationen und Relevance-Vector-Machines
M.E. Tipping. Sparse Bayesian Learning and the Relevance Vector Machine. Journal of Machine Learning Research 1, 2001, pp.211 - 244
Gaußprozesse für Regression und Klassifikation (2 Vorträge)
- Rasmussen, Williams. Kapitel 2 und 3
- M. Kuss, C.E. Rasmussen.Assessing Approximate Interference for Binary Gaussian Process Classification, Journal of Machine Learning Research 6, 2005, pp. 1679-1704
- M. Kuss. Gaussian Process Models for Robust Regression, Classification and Reinforcement Learning, PhD thesis, Tu Darmstadt, 2006.
Variational Bayes
Hierarchiche Verfahren mit einer Anwendung auf generalisierte lineare Modelle
A. Gelman, J. Carlin, H. Stern and D. Rubin. Bayesian Data Analysis. PChapman, 1995. Kapitel 5
Bayes-Verfahren im Text-Mining
D.M. Blei, A.Y. Ngo and M.I. Jordan. Latent Dirichlet Allocation. Journal of Machine Learning Research 3, 2003, pp. 993-1022
Gaußprozesse und Computational Chemistry
A. Schwaighofer, T. Schroeter, S. Mika, J. Laub, A. ter Laak, D. Sülzle, U. Ganzer, N. Heinrich, and K.-R. Müller. Accurate solubility prediction with error bars for electrolytes: A machine learning approach. Journal of Chemical Information and Modelling, 47(2), 2007.

Arbeitsgruppe Maschinelles Lernen / Intelligente Datenanalyse

Bayes-Verfahren im Maschinellen Lernen

(HS-Seminar, Vertiefungsveranstaltung)

Arbeitsgruppe
Maschinelles Lernen / Intelligente Datenanalyse