Können wir die Komplexität des Lernens quantifizieren? Dieser Artikel führt das Konzept der prädiktiven Information, Ipred(T), ein, die als die gegenseitige Information zwischen der Vergangenheit und der Zukunft einer Zeitreihe definiert ist, um die Komplexität des Lernens zu charakterisieren. Er zeigt drei unterschiedliche Verhaltensweisen im Grenzwert großer Beobachtungszeiten: endliches, logarithmisches oder fraktales Potenzgesetzwachstum von Ipred(T). Ziel ist es, Wege zu finden, um Komplexität zu messen. Die Studie zeigt, dass logarithmisches Wachstum auftritt, wenn ein Modell mit einer endlichen Anzahl von Parametern gelernt wird, wobei der Koeffizient die Dimensionalität des Modellraums darstellt. Potenzgesetzwachstum ist umgekehrt mit dem Lernen von Modellen mit unendlich vielen Parametern verbunden, wie z. B. stetigen Funktionen mit Glattheitsbeschränkungen. Die Forschung verbindet prädiktive Informationen mit Komplexitätsmaßen, die in der Lerntheorie und der statistischen Mechanik definiert sind. Dieser Rahmen könnte auf eine Vielzahl von Problemen in Physik, Statistik und Biologie angewendet werden und dazu beitragen, die Komplexität der zugrunde liegenden Dynamik in verschiedenen Systemen zu quantifizieren. Die Autoren argumentieren, dass der divergente Teil von Ipred(T) ein genaues Maß für die Komplexität einer Zeitreihe ist.
Dieser in Neural Computation veröffentlichte Artikel passt zum Themenspektrum der Zeitschrift, da er sich mit den rechnerischen Aspekten des Lernens und der Informationstheorie befasst. Die Forschung, die prädiktive Informationen mit Komplexitätsmaßen verbindet, steht im Einklang mit dem interdisziplinären Charakter der neuronalen Berechnung und stützt sich auf Mathematik, Physik und Informatik. Der Inhalt bezieht sich auf Informatik, Technologie und neuronale Netze.