Maximum régularisé

En mathématiques, un maximum régularisé (smooth maximum) d'une famille indicée x₁, ..., x_n de nombres est une approximation lisse de la fonction maximum max(x₁,...,x_n), par une famille paramétrée de fonctions m_α(x₁,...,x_n) telle que la fonction m_α est régulière pour toute valeur réelle de α, et tend vers la fonction maximum pour α → ∞ ou α → 0 . Le concept de minimum régularisé peut être défini de façon similaire. Dans plusieurs cas, une même famille peut servir à approcher les deux fonctions, le maximum pour des valeurs positives très grandes, le minimum vers l'infini négatif :

$m_{\alpha }\to \max \ {\textrm {pour}}\ \alpha \to \infty ,\ m_{\alpha }\to \min \ {\textrm {pour}}\ \alpha \to -\infty .$

Le terme peut être utilisé pour toute fonction régularisante se comportant de façon similaire à la fonction maximum, sans être paramétrée.

Exemples

Approximations dérivables de la valeur absolue

En utilisant la définition suivante du maximum de deux nombres :

$\max(x_{1},x_{2})={\frac {x_{1}+x_{2}+|x_{2}-x_{1}|}{2}}$

on peut définir une fonction maximum régularisé en remplaçant le terme en valeur absolue par une fonction lisse équivalente, comme ${\textstyle {\sqrt {x^{2}+\alpha ^{2}}}}$ ou ${\textstyle x\,\mathrm {erf} (\alpha x)}$, où erf désigne la fonction d'erreur.

Softmax

Maximum régularisé appliqué aux fonctions –x et x pour plusieurs valeurs de coefficients. On voit que la fonction est très lisse pour α = 0,5 et plus raide pour α = 8.

Pour de grandes valeurs du paramètre α > 0, la fonction S_α définie ci-après, parfois appelée « α-softmax », est une approximation lisse et différentiable de la fonction maximum. Pour des valeurs négatives du paramètre grandes en valeur absolue, elle approche le minimum. La fonction α-softmax est définie par :

$S_{\alpha }(x_{1},\ldots ,x_{n})={\frac {\sum _{i=1}^{n}x_{i}\mathrm {e} ^{\alpha x_{i}}}{\sum _{i=1}^{n}\mathrm {e} ^{\alpha x_{i}}}}$

S_α a les propriétés suivantes :

1. $S_{\alpha }{\underset {\alpha \to +\infty }{\longrightarrow }}\max$
2. S₀ renvoie la moyenne arithmétique
3. $S_{\alpha }{\underset {\alpha \to -\infty }{\longrightarrow }}\min$

Le gradient de S_α est lié à la fonction softmax et vaut

$\nabla _{x_{i}}S_{\alpha }(x_{1},\ldots ,x_{n})={\frac {\mathrm {e} ^{\alpha x_{i}}}{\sum _{j=1}^{n}\mathrm {e} ^{\alpha x_{j}}}}[1+\alpha (x_{i}-S_{\alpha }(x_{1},\ldots ,x_{n}))].$

Ceci rend la fonction softmax intéressante pour des techniques d'optimisation utilisant la descente de gradient.^{[réf. souhaitée]}

Normes de Hölder

Une forme de maximum régularisé peut être basée sur une moyenne généralisée. Par exemple, pour des valeurs x₁, ..., x_n positives, on peut utiliser une moyenne d'ordre α > 1, soit

$S_{\alpha }(x_{1},\ldots ,x_{n})=\left({\frac {1}{n}}\sum _{j=1}^{n}x_{j}^{\alpha }\right)^{\frac {1}{\alpha }}.$

LogSumExp

Un autre maximum régularisé est connu sous le nom « LogSumExp »:

$\mathrm {LSE} (x_{1},\ldots ,x_{n})=\ln(\exp(x_{1})+\ldots +\exp(x_{n}))$

La fonction peut être normalisée si les x_i sont tous positifs, menant à une fonction définie sur [0 , +∞[ⁿ vers [0 , +∞[:

$g(x_{1},\ldots ,x_{n})=\ln(\exp(x_{1})+\ldots +\exp(x_{n})-(n-1))$

Le terme (n – 1) est un coefficient de correction pour prendre en compte que exp(0) = 1, assurant ainsi qu'on ait bien g(0, ... ,0) = 0 si tous les x_i sont nuls.

La fonction LogSumExp peut être paramétrée pour éviter les artefacts de lissage. On appelle cette forme « α-quasimax », définie par:

${\mathcal {Q}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {1}{\alpha }}\mathrm {LSE} (\alpha x_{1},\ldots ,\alpha x_{n})={\frac {1}{\alpha }}\ln(\exp(\alpha x_{1})+\ldots +\exp(\alpha x_{n}))$

Utilisation dans des méthodes numériques

Les maximums lisses ont un intérêt dans les recherches d'extrema sur des ensembles de données discrètes ou des algorithmes d'optimisation par descente du gradient.

Voir aussi

• LogSumExp
• Fonction softmax
• Moyenne généralisée

Références

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Smooth maximum » (voir la liste des auteurs).