- FR
- EN
Les réseaux de neurones modernes sont entraînés par des méthodes du premier ordre dans des espaces de paramètres de très grande dimension, pour des fonctions de perte non convexes, alors que la théorie générale de l’optimisation explique encore peu le succès de cette approche. Cette thèse étudie les propriétés structurelles de la fonction de perte mises en évidence par des limites d’échelle, ainsi que leurs conséquences sur l’entraînement. Nous considérons deux régimes limites : la largeur infinie pour les réseaux peu profonds et la profondeur infinie pour les réseaux résiduels. Dans les deux cas, le vecteur fini de paramètres est remplacé par un objet de dimension infinie, transformant ainsi l’entraînement en un problème d’optimisation en dimension infinie. Dans le régime de champ moyen à largeur infinie, les paramètres d’un réseau à deux couches sont décrits par une mesure de probabilité, et la perte est convexe le long des interpolations linéaires de mesures. Après régularisation entropique, son unique minimiseur est la mesure invariante d’une équation de Langevin de McKean--Vlasov, dont l’approximation usuelle est un système de $N$ particules en interaction. La première contribution remplace cette interaction par une auto-interaction fondée sur une mesure d’occupation du passé, à pondération exponentielle. Par couplage par réflexion, nous prouvons l’ergodicité exponentielle du processus sous des hypothèses générales. Lorsque la dérive est l’opposé du gradient intrinsèque d’un potentiel cylindrique convexe de champ moyen, nous montrons que les mesures stationnaires des processus auto-interagissants approchent les mesures invariantes des processus de McKean--Vlasov correspondants. Les poids optimaux d’un réseau à deux couches peuvent ainsi être appris en entraînant une seule particule. La deuxième contribution développe une formulation en profondeur infinie de l’entraînement des réseaux résiduels, avec mise à l’échelle stochastique $1/sqrt L$, à l’aide de la théorie des trajectoires rugueuses de Lyons. Le réseau continu en profondeur est une équation différentielle rugueuse, et l’entraînement consiste à minimiser un coût terminal sur les translations de Sobolev d’une trajectoire rugueuse initiale fixée. Nous reformulons le problème en contrôle sous-riemannien, sous l’hypothèse de Hörmander. Nous établissons un théorème de Chow--Rashevskii avec dérive rugueuse, garantissant l’atteignabilité de la cible et l’existence de minimiseurs à distance finie de l’initialisation. La rugosité de l’initialisation, préservée par translation de Young, exclut les points critiques non minimisants de la perte terminale. L’inégalité de L{}ojasiewicz obtenue est non uniforme, sa constante pouvant dégénérer avec la norme du déplacement. Dans les cas elliptique et nilpotent d’ordre 2, nous obtenons des minorations de type Malliavin suffisantes pour assurer la convergence exponentielle du flot de gradient vers un minimiseur global, pour une initialisation brownienne ou plus rugueuse. La troisième contribution relie le modèle continu aux réseaux de profondeur finie. Une discrétisation d’Euler modifiée du premier ordre de l’équation rugueuse et de son jacobien induit un flot de gradient de dimension finie : la passe avant est un réseau résiduel compensé de profondeur $L$, et la passe arrière la récurrence de rétropropagation associée. Pour une initialisation par mouvement brownien fractionnaire de paramètre de Hurst $Hin(1/3,1/2]$, la mise à l’échelle en profondeur est $L^{-H}$, ce qui étend le régime $1/sqrt L$ à $H<1/2$. Sur tout horizon d’entraînement fini, les poids discrets et les états cachés convergent trajectoriellement vers leurs analogues de profondeur infinie au taux $L^{1-3H+varepsilon}$, avec des constantes aléatoires presque sûrement finies. Les deux flots ne sont couplés qu’à l’initialisation, et l’estimation ne requiert que la régularité du bloc résiduel, sans hypothèse géométrique.
M. Paul GASSIAT, Professeur des universités, UNIVERSITÉ GUSTAVE EIFFEL, Directeur de thèse
M. Zhenjie REN, Professeur des universités, UNIVERSITÉ EVRY PARIS-SACLAY, Directeur de thèse
M. François DELARUE, Professeur des universités, UNIVERSITÉ CÔTE D'AZUR, Rapporteur
M. Peter K. FRIZ, Full professor, TECHNISCHE UNIVERSITÄT BERLIN, Rapporteur
M. Ismael BAILLEUL, Professeur des universités, UNIVERSITÉ DE BRETAGNE OCCIDENTALE, Examinateur
M. Pierre CARDALIAGUET, Professeur des universités, UNIVERSITÉ PARIS DAUPHINE - PSL, Examinateur
M. Lénaïc CHIZAT, Associate professor, NATIONAL UNIVERSITY OF SINGAPORE, Examinateur
Mme Yating LIU, Maître de conférences, UNIVERSITÉ PARIS DAUPHINE - PSL, Examinatrice
