Programme (contenu détaillé) :
– Eléments d’analyse convexe: convexité, semi-continuité inférieure, notion de sous-différentiel, éléments d’analyse pour l’algorithmie (fonctions à gradient Lipschitz, forte convexité, conditionnement)
– Conditions d’optimalité (conditions de Karush Kuhn Tucker, conditions suffisantes de second ordre)
– Dualité Lagrangienne
– Algorithmes pour l’optimisation différentiable sans contrainte et lien avec les EDO : généralités sur les méthodes de descente, algorithmes du gradient, algorithmes de Newton et quasi-Newton. Etude de convergence et vitesse de convergence en fonction de la géométrie des fonctions à minimiser.
– Algorithmes pour l’optimisation différentiable avec contrainte : SQP, méthodes de pénalisation, Lagrangien augmenté.
– Optimisation convexe : comment la convexité permet d’améliorer les vitesses de convergence des algorithmes.
– Algorithmes inertiels, accélération de Nesterov. Algorithmes de sous-gradient. Notion d’opérateur proximal, régularisation de Moreau, algorithmes proximaux. Méthodes de splitting: algorithme Forward Backward et accélération à la Nesterov (FISTA). Etude de convergence et vitesse de convergence sur la classe des fonctions convexes.
