Richard Cornelius Suwandi: Kernel Autoresearch for Open-Ended Model Discovery

Valeur des informations & solidité de l’argumentation

La valeur principale réside dans la proposition d’un cadre qui concilie expressivité des programmes libres et garanties mathématiques de validité des noyaux. L’argumentation est solide : elle part d’un exemple illustratif pour montrer le problème des biais inductifs, passe en revue les travaux antérieurs (grammaires de noyaux, spectre mélange, noyaux profonds) pour en souligner les limites, puis détaille la solution avec des justifications théoriques (indécidabilité, preuve par construction). L’évaluation est soignée : utilisation de métriques comme le CRPS pour mesurer toute la distribution prédictive, et protocole de méta-évolution avec phases d’entraînement, validation et test sur des données non vues. Les expériences comparent favorablement la méthode à des baselines établies, et la possibilité d’amélioration par un expert renforce la crédibilité.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est manifeste : l’exposé cite les travaux fondateurs (Duvenaud et al., 2013 ; Wilson & Adams, 2013 ; Wilson et al., 2016 ; FunSearch de DeepMind) et intègre des références à des résultats de la littérature. Les preuves de validité sont construits sur des propriétés mathématiques connues, et les expériences incluent des tests de robustesse sur différentes dimensions et échelles. L’adéquation titre-contenu est parfaite : le titre annonce l’auto-recherche de noyaux pour une découverte ouverte, et la présentation développe exactement cela. Aucun commentaire public n’est disponible pour analyser les tendances d’audience.

Le titre reflète précisément le contenu : la présentation décrit une méthode de recherche automatique de noyaux via des agents de codage, visant une découverte de modèles ouverte et transférable.

8/10

Présentation d'une recherche originale avec méthodologie détaillée, validation expérimentale sur plusieurs familles de tâches et comparaison à des baselines établies. Les preuves de validité sont construites de façon logique, mais les résultats restent à confirmer par publication et reproduction indépendante.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:30Introduction et résumé : agents de codage pour découvrir des biais inductifs réutilisables.
• 02:30Exemple motivant sur l'ajustement de fonctions inconnues et le rôle du biais inductif.
• 07:00Introduction des fonctions noyau et de leur impact sur les processus gaussiens.
• 12:00Revue des méthodes existantes : grammaires de noyaux (Duvenaud et al.) et limitations.
• 18:00Approches de noyaux spectraux et deep kernel learning, leurs contraintes.
• 23:00Inspiration de FunSearch : agents de codage pour découvrir des programmes.
• 30:00Présentation de la méthode proposée : répartition des rôles entre l'agent et le backend déterministe.
• 37:00Détail des contrats de construction (feature map, spectre, transformation d'entrée, fermeture) et de la vérification à plusieurs niveaux.
• 45:00Présentation des résultats expérimentaux : transfert vers des familles non vues et comparaisons avec les baselines.

• Duvenaud et al., 2013 - Expressive Gaussian processes through kernel design — Introduction des grammaires de noyaux et de la recherche par composition.
• Wilson & Adams, 2013 - Spectral Mixture Kernels — Apprentissage de noyaux par mélange spectral dans le domaine fréquentiel.
• Wilson et al., 2016 - Deep Kernel Learning — Combinaison de noyaux spectraux avec des architectures profondes.
• FunSearch (Google DeepMind) — Agents de codage pour découverte d'algorithmes, source d'inspiration.

• Travaux sur les noyaux spectraux (Wilson et al.) — Confirment l'importance de l'expressivité des noyaux pour la performance, comme discuté dans l'exposé.

• Méthode empirique de validation de noyaux par échantillonnage (concurrente) — L'exposé critique cette approche en montrant que 22-58% des noyaux générés passent les tests empiriques mais échouent sur d'autres échelles ou dimensions, justifiant la nécessité de garanties formelles.