学生の備忘録なブログ

日々のことを忘れないためのブログです。一日一成果物も目標。

DeepLearningにおける勾配

損失関数の出力をfとすると,出力の全てのパラメータ$w_i$に関する偏微分を計算すると,偏微分を並べたベクトルを定義することができる.このベクトル

f = f d w 1 , . . . , · f W i

を勾配と呼ぶ.

f = f d w 1 , . . . , · f W i

f = f W 1 , f W i

TeXが上手に描画できないので,一旦stop