高校生からでもわかるかも！？外部受講生Welcome！
第5回はついに出たLASSOを実際の問題に適用するためにテイラー展開を利用して
綺麗な形を生み出す方法と勾配法の関係。それを利用した近接勾配法。
さまざまな情報科学の問題の数学的背景に通じるこの話題は避けられません。
外部受講者（公式潜りの方々は）Youtube Live上でコメントをしてください。
（講義の時間の許す限りリアクションします）
どうぞよろしくお願いします。
#東北大学
#データ科学
#機械学習
【教員情報】
東北大学大学院情報科学研究科教授
大関 真之
Web page
https://altema.is.tohoku.ac.jp/~mohzeki/
twitter
Tweets by mohzeki222
【チャプター】
0:00:00 待機画面
0:01:11 開始前雑談
∟0:01:56 研究に没頭してしまう日々
0:12:00 OP
0:12:41 本編開始
∟0:13:14 前回までの復習：生成モデルの歴史
∟0:17:04 平均場の発展：最新の歴史は早い→しっかりとした礎を築くことが大事
∟0:18:06 ランダムニューロンにおける中心極限定理→分散の更新式
∟0:18:56 分散の更新式をDNN風にいうと
0:21:10 スピングラスの平均場理論
∟0:21:41 スピングラスとは
∟0:23:23 J_klの定義(SKmodel)
∟0:25:05 h_k：一様磁場
∟0:26:02 スピングラスにおける分散の更新式(自己無撞着方程式)
∟0:26:32 m_l = x_lの期待値(局所磁化)
∟0:27:40 更新式の計算方法：u_kを考える
∟0:28:24中心極限定理(J_klが乱数→w_kの時と一緒)
∟0:29:25 [u_k]_J
∟0:29:59 [u_k^2]_J
∟0:33:18 注：分散＝[u_k^2]_J – ([u_k]_J)^2
∟0:34:39 m_lの平均→物質の挙動(m_l≠０→強・反強磁性、＝０→常磁性orスピングラス)
∟0:37:08 スピングラス秩序パラメータqの定義
∟0:37:38 スピングラスにおけるm_l→＋or – には立っている→二乗して足した平均q→1になるんじゃね？
∟0:38:43 m_kではなく、(m_k)^2を調べる
∟0:39:13 大数の法則により、期待値((m_k)^2×確立分布の積分)を調べる
∟0:41:07 [step up] よくやる手② Reparameterization Trick を使う
∟0:42:29 SK modelの更新式：鞍点方程式と相転移の歴史
∟0:50:11鞍点方程式はレプリカ法を使わずとも導ける！？
(TA:そんなの聞いてないって)
∟0:52:49 鞍点方程式、中心極限定理は多くの分野に応用可能
∟0:54:03 qの更新→相図と相転移
∟0:55:35 q、m_kによる常磁性、スピングラス、強強磁性の区分け
∟0:59:03 スピングラスとランダムニューラルネットワークとの対応
1:02:00 小休止雑談：物理学会はやべー奴の巣窟
1:06:48 信念伝播法
∟1:09:18 平均場近似の復習
∟1:10:41 平均場近似の問題点：x_kとx_lの相関を考えていない
∟1:11:32 平均場：kの周りl(∈∂k)からのメッセージ的
∟1:12:28 図的理解
∟1:14:01 信念伝播法のキモチ：相互作用項を考えたい！
∟1:17:13 信念伝播法の図的理解(k, l : 変数ノード、μ：ファクターノード)
∟1:21:32 [step up] メッセージ伝播
∟1:22:58 ファクターノードμを考慮したP(x)の記述
∟1:25:07 2体→p対相互作用への拡張(一般化)
∟1:27:03 ファクターノード×変数ノードで因数分解
∟1:29:05メッセージ伝播のルールを考える
∟1:31:02 例 １次元
∟1:33:38 信念伝播法の優位性について
1:36:20 本講まとめと次回予告
