Nous présentons un calculateur interactif pour visualiser la convergence de l'algorithme de
descente de gradient appliqué à une fonction à deux variables \( f(x,y) \).
L'algorithme de descente de gradient ajuste itérativement les valeurs de \( x \) et \( y \) pour trouver le minimum de la fonction \( f(x, y) \). En partant des valeurs initiales \( x_0 \) et \( y_0 \), il utilise les gradients de la fonction pour faire des pas vers le minimum, contrôlé par le taux d'apprentissage \( r \). Le processus se poursuit jusqu'à ce que les changements des valeurs soient suffisamment petits ou qu'un autre critère d'arrêt soit rempli.
Voici une description étape par étape du processus de descente de gradient pour une fonction \( f(x, y) \) avec des valeurs initiales \( x_0 \) et \( y_0 \), et un taux d'apprentissage \( r \) :
Description de la Descente de Gradient
1. Initialisation :
- Commencez avec une estimation initiale des variables \( x \) et \( y \). Ces valeurs initiales sont \( x_0 \) et \( y_0 \).
- Choisissez un taux d'apprentissage \( r \), qui contrôle la taille des pas vers le minimum.
2. Calcul des Gradients :
- Pour la fonction \( f(x, y) \), calculez les dérivées partielles par rapport à \( x \) et \( y \) :
\[
\dfrac{\partial f}{\partial x} \quad \text{et} \quad \dfrac{\partial f}{\partial y}
\]
- Évaluez ces dérivées partielles aux valeurs actuelles de \( x \) et \( y \). Notez ces dérivées comme \( \dfrac{\partial f}{\partial x}(x_k, y_k) \) et \( \dfrac{\partial f}{\partial y}(x_k, y_k) \), où \( k \) est l'index d'itération actuel.
3. Règles de Mise à Jour :
- Ajustez les valeurs de \( x \) et \( y \) en allant dans la direction opposée aux gradients (puisque nous minimisons la fonction) :
\[
x_{k+1} = x_k - r \dfrac{\partial f}{\partial x}(x_k, y_k)
\]
\[
y_{k+1} = y_k - r \dfrac{\partial f}{\partial y}(x_k, y_k)
\]
- Ici, \( x_{k+1} \) et \( y_{k+1} \) sont les valeurs mises à jour de \( x \) et \( y \) après une itération.
4. Itération :
- Répétez le processus de calcul des gradients et de mise à jour des valeurs de \( x \) et \( y \) jusqu'à ce qu'un critère d'arrêt soit rempli. Le critère d'arrêt peut être :
- Un nombre maximum d'itérations.
- Le changement des valeurs de \( x \) et \( y \) entre les itérations est inférieur à un seuil prédéfini.
- Les magnitudes des gradients \( \dfrac{\partial f}{\partial x}(x_k, y_k) \) et \( \dfrac{\partial f}{\partial y}(x_k, y_k) \) sont inférieures à un seuil prédéfini.
5. Convergence :
- Une fois le critère d'arrêt satisfait, les valeurs de \( x \) et \( y \) devraient être proches des valeurs qui minimisent la fonction \( f(x, y) \).
Un autre Calculateur de Descente de Gradient pour étudier la convergence est également inclus.
Utilisation du Calculateur
Ce calculateur est utilisé à des fins éducatives uniquement pour visualiser l'algorithme de descente de gradient. Il serait donc judicieux que les fonctions saisies dans le calculateur aient une valeur minimale et que des valeurs initiales puissent être trouvées graphiquement, par exemple.
Entrez la fonction \( f(x,y) \) , les valeurs initiales \( x_0 \) et \( y_0 \) de \( x \) et \( y \) et le taux d'apprentissage \( r \).
Les sorties sont :
1) Les dérivées partielles \(
\dfrac{\partial f}{\partial x} \; \text{et} \; \dfrac{\partial f}{\partial y}
\) de \( f(x,y) \)
2) Le numéro de l'étape ainsi que les valeurs mises à jour de \( x \) et \( y \),
3) Les valeurs des dérivées partielles aux valeurs mises à jour de \( x \) et \( y \) sont affichées.
4) Un graphique de toutes les valeurs mises à jour de \( x \) et \( y \).
5) Un tableau avec \( x \) et \( y \), les valeurs des dérivées partielles ainsi que la valeur de \( f(x,y) \) sont présentés en sortie.
Remarque dans le tableau des valeurs ci-dessous que lorsqu'il y a convergence, les dérivées partielles \(
\dfrac{\partial f}{\partial x} \; \text{et} \; \dfrac{\partial f}{\partial y}
\) approchent de zéro et \( f(x,y) \) approche de sa valeur minimale locale.