Nous discuterons sur tous les algorithmes des problèmes de complexité : Coût de calcul d’une itération et nombre d’itérations pour arriver à une précision cible.
Le cours se détaille en trois grands thèmes :
L’optimisation non-convexe et différentiable (25 h)
-Globalisation des méthodes (Wolfe)
-Équations du premier ordre : Théorie de KKT
-Méthodes d’ordre 2 : L-BFGS
-Méthodes de gradient projeté
Optimisation stochastique (10 h)
-Optimisation par Batch / Epoch
-Momentum
Optimisation convexe non-lisse (15 h)
-Théorie du sous-gradient, transformée Legendre.
-Algorithmes proximaux (Splitting et Acceleration)












