Gradientinis nusileidimas

Gradientinis nusileidimas – optimizavimo metodas, besiremiantis tuo, kad skaliarinio lauko gradientas visada rodo greičiausio lauko augimo kryptį, o antigradientas – greičiausio mažėjimo kryptį.

Artėjimas prie optimalaus taško gradientinio nusileidimo metodu. Mėlynos linijos yra lygio linijos.

Naudojant gradientinio nusileidimo metodą kartojamas žingsnis, nusakomas formule

${\displaystyle \mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma _{n}\nabla F(\mathbf {x} _{n}),\ n\geq 0.}$

Čia ${\displaystyle x_{n}}$ – ankstesnė parametro, pagal kurį optimizuojama, reikšmė, ${\displaystyle x_{n+1}}$ – nauja šio parametro reikšmė, ${\displaystyle F()}$ – , o ${\displaystyle \gamma _{n}}$ – žingsnio dydis, kuris gali būti arba pastovus, arba keičiamas kiekviename žingsnyje.

Taikymas

Gradientinio nusileidimo algoritmas yra plačiai naudojamas apmokyti mašininio mokymosi modelius ir neuroninius tinklus.

Šaltiniai

1. „What is Gradient Descent? | IBM“. ibm.com. Nuoroda tikrinta 2024-02-02.