CourseraのDeep Learning Specialization(5つのコースから構成される)についてのメモ書きです。

Andrew先生のMachin Learningコースは調べるとたくさん資料が出てきますが、 Deep Learningコースは最近開講されたためかあまり出てこないですね。

くじら公園さんがCourse3まで要点をまとめてくれていて参考になったので私もCourse4とCourse5について同じようにして記事にまとめようと思います。

くじら公園さんの記事はこちらです

Week1: Convolutional Neural Networks

画像分類、物体検出、スタイルトランスファーなどの画像を入力とする問題を考える．
これまでは全てのピクセルを特徴として入力していましたが、画像サイズが例えば1000[pix]×1000[pix]の場合はパラメータの数が100万オーダとなってしまい、Overfittingやメモリ・計算コストの問題が発生する．

$\begin{bmatrix} 1 & 0 & -1 \\\ 1 & 0 & -1 \\\ 1 & 0 & -1 \end{bmatrix}$

とすれば垂直方向のEdgeを検出できる．

Convolutionを行うと、画像のサイズが小さくなり、画像の端があまり考慮されない(フィルターで呼び出される回数が少ない)という問題がある．これを解決するために、画像の周りにピクセルを追加することをPaddingと呼ぶ．
画像のサイズを $n×n$ 、フィルターのサイズを $f×f$ 、Paddingのサイズを $p$ とすると、出力画像のサイズは $(n+2p-f+1)×(n+2p-f+1)$ とかける．
Valid ConvolutionsとSame Convolutionsの2種類のPaddingがある．"Valid"の場合はPaddingは行わず画像のサイズが小さくなり、"Same"の場合は入力画像と出力画像のサイズが一致するように(つまり $2p-f+1=0$ となるように)Paddingを行う方法である．

Convolutionの適用間隔のことをStridedと呼ぶ
Stridedの大きさを $s$ とすると、出力画像のサイズは $(\frac{n+2p-f}{s}+1 × \frac{n+2p-f}{s}+1)$ とかける(整数でない場合は切り捨てをする)．
これまで議論してきた操作は数学的には厳密にはCross-correlationと呼ぶらしいが、慣例でConvolutionと呼ぶことに注意する．

画像およびフィルターについて奥行方向を考慮して3Dに拡張する．
画像サイズを $n×n×n_c$ とし、フィルターのサイズを $f×f×n_c$ とすると出力画像のサイズは $(n-f+1)×(n-f+1)×n_C^{'}$ となる．
$n_c$ はチャンネル数を表しており、入力画像とフィルターのチャンネル数は一致する必要がある．また、複数の方向についてedgeを抽出したい場合に適用したいフィルターの数を $n_c^{'}$ で表す．

フィルターで畳み込みをした後は、バイアス項を足して活性化関数に入力するといった流れになる．
表記方法については何通りかあるが、このコースでは以下で統一する( $l$ を層のindexとする)．
$f^{l}$ : Filter size, $p^{l}$ : Padding, $s^{l}$ : Stride, $f_C^{l}$ : Number of filters
フィルターのサイズは $f^{l}×f^{l}×n_C^{l-1}$
活性化関数のサイズは $a^{l}: n_H^{l}×n_W^{l}×n_C^{l}$
Vectorizationする場合は、例えば活性化関数では $A^{l}: m×n_H^{l}×n_W^{l}×n_C^{l}$ となる．

Convolutionを行うことのメリット（つまり、なぜパラメータの数が少なく済むのか）は以下の2つが挙げられる．
- Parameter sharing: A feature detector(such as a vertical edge detector) that's useful in one part of the image is probably useful in another part of the image.
- Sparsity of connections: In each layer, each output value depends only on a small number of inputs.
Transition invariance等の性質によりComputer Visionの問題でうまく機能する．
ロス関数や最適化についてはこれまでと同様．

宮塩のお勉強部屋