【IQ1AdC】W理論こと特異学習理論の重要論文公式10本ノック【12/9】

おはようございますまたはこんにちはまたはこんばんは，カイヤンです．

本記事はIQ1 Advent Calendar 2019（主催者 id:chakku000 ）における12月9日の記事です．

• 参考：IQ1 Advent Calendar 2018
  • 2018/12/11の拙著記事「IQが1のデータ分析：respects いつも何度でも尋ねられること」

おことわり

今回は，ベイズ推論の特異学習理論（Watanabe理論，W理論）についての記事です．IQ1なので数学的に厳密な書き方でないどころか数式が登場しませんのでご了承ください． また，IQ1なために各論文を肯定的に読んでいます（理論が中心の紹介ですが一部の数値実験についても）．クリティカルリーディング要素はありません．申し訳ありません．

よりおことわりらしいおことわりはIQ1AdCの雰囲気をぶち壊すので折り畳みます．

IQ1AdCそのものは穏当な内輪ネタです．学習理論の研究者をバカにする意図もなければ，IQの専門家や本当に困っている方々を嘲る意図もないことを強調させていただきます．あくまでカイヤンが内輪ネタ::IQ1なだけです．

以降は論文紹介＆IQ1AdCのテンションで書きます．

概要=TL;DR

• IQ1にとってサーベイは大変であるが，渡辺先生のHPに公式10本ノック的なW理論の重要論文が上がっていた．
• 数あるW理論論文のなかでなぜその10本なのか（何がすごいのか）を各論文の概要を説明しつつ考察してみた．

本記事の構成は以下のようになります．

IBIS2019参加記録

おはようございます，またはこんにちは，またはこんばんは．カイヤンです．

今回は国内最大の機械学習の学会であるIBIS2019の参加報告です．かんそうぶんてきなやつと，聴講記録メモを下記に記しています．

• 参考１：IBIS2018参加記録
• 参考２：IBIS2017参加記録
• 参考３：IBIS2016参加記録

聴講メモ（長い）を含む目次は以下．

IBIS2019 参加報告

現地の様子

場所は名古屋で，G20との兼ね合いもあり駅ロッカーが封じられるといった事態が起きていました．ACML2019や若手会からの連続開催となっており，9日以上も名古屋に滞在していた方もいたようです．食事の名物が多いため食べ飽きることはありませんでした．

初日朝，名古屋着．

開催趣旨は「 拡散、浸透と深化 」．間違いなく機械学習が社会の中に広がり・染み渡ってきましたが，それは今日までの理論と方法の研究成果でした．そして深層学習の理論をはじめとした新たな基礎課題も認識されてきています．この背景の中で，今回の主要なセッションは理論的な方法あるいは理論そのものが中心となっており，これまで浸透してきたものの基礎が今日どうなっているかが発表されている形でした．逆に，社会応用の発表としては落合先生の招待講演が際立っていましたが内容については記事化不可の発表だったため控えます．

ポスターは240件（一日当たりおよそ120件）と非常に多く，発表時間もそのぶん3時間程度と例年より伸びていました．純粋に聴講だけをする参加となったため，どちらの日程でも気になった発表を深めに聞くことができました．例年よりも幾何的なアルゴリズム導出は減っているものの，理論の発表が減ったという印象はありませんでした．どちらかというと統計・学習理論的をベースとしたアルゴリズム提案が理論よりの発表では多めでした．完全な応用としては，聴講する時間はありませんでしたがポケモン画像連想システムのWebアプリデモというIBISとしてはかなり珍しいであろう発表形式のものがありました．

名古屋名物の一つ，矢場とんの味噌カツ．

かんそう

感想は上記以上に完全に主観なので折り畳みしておきます．参加し始めて4年目の若造がなんか言ってるってだけです．

カイヤンはIBISには2016年度から参加しており，今年で4回目です．しかし，これまでと異なり発表成果物を用意することが間に合わなかったため，初の純粋聴講となってしまいました．

発表しない側として聴講した感想ですが，やはり発表したかったという悔しさが第一に来ます．来年度はつくばらしいですが，リベンジできるように社Dとして研究を頑張っていきたいと思いました．純粋な聴講だったということに対しての感想は月並みですがこんなところです．

学会を聴講した感想としては，今年は昨年度以上に理論ある方法に寄っていて「IBISこわい」らしくてとてもよかったなと思いました．一方，テクニカルトラックを完全に廃したのは，論文が残っておらず発表媒体として個人でポスターを公開でもしない限りはせっかくの成果が散逸しやすいのではないかとも思いました．また，会場の雰囲気としてはIBIS2016～2018（年度が若いほど顕著）ではそこそこクリティカルな質問もしやすい雰囲気，すなわち下記ツイートの「理」に近かったのですが，今年は「工～医」っぽい感じになっていたなあとも思います．

学会における講演後の質問の仕方の分野別勝手なイメージ。

医「大変興味深いご講演ありがとうございます。先程仰られたAという件についてお聞きしたいのですが……」

工「○○大の○○です。先程仰られたAという件ですが……」

理「そこおかしくない？」

— ロボ太 (@kaityo256) 2019年11月21日

機械学習が完全に工学に取り込まれてしまったのだとしたら，学習という問題に対して応用の有無を問わない興味駆動サイエンスしていきたい側としては非常に寂しいところです． そういえば，「機械学習工学」の企画セッションでも，「そもそも機械学習は工学じゃないか，とお考えでしょうが～（注：以下，機械学習工学は機械学習を使った工学という意味ではなく，ソフトウェア工学の観点から機械学習を扱う領域であるという説明が続く）」というお話がありました．今回の開催趣旨からしても，かなり社会に馴染んできて学術領域としても社会よりに急激になってきたということなのかもしれません．しかし，その中でこれまで培った理論と方法が役立っておりかつ新たな基礎課題（例：深層学習理論）も見つかっているという現状認識をして，今回のような理論と方法のセッション中心で開催していただいたのは慧眼と思います．

全体的な感想は上記のようなところですが，特別気になった発表としては，

• Marc Deisenroth先生による招待講演（ガウス過程とベイズ推論の考え方が強化学習・data efficient learningにおいて重要であるという内容）
• ポスター「2-007」（PACベイズ理論を輸送理論を用いてこれまで適用できなかった予測器にも使える理論としたという発表）
• ポスター「2-086」（基本的なMCMC法であるメトロポリスヘイスティング法のチューニングで重要となる提案分布のステップサイズが特異学習理論・代数幾何学において重要な実対数閾値とゼータ函数で記述できることを証明したという発表）

がありました．特に目当ての発表だった「2-086」は特異学習理論の新たな応用の方向性を基礎づける内容でした．また，「2-007」は今日でPACベイズの研究を見れるとはと期待していきましたがVC理論が対象としていたようなNNのような予測器も取り扱えるPACベイズの拡張となっており，DLの理論作りにPACベイズ的なアプローチも可能になるのではないかと思える内容で，この2発表はとても印象に残りました（後者は受賞もしています）．

他にも，VAEの相転移構造についての実験的・物理的考察（マクスウェルの悪魔など）や，圏論による統計的機械学習の整理という発表も気になりました．

以下，聴講記録メモです．

コンパクトかつ網羅的という点では、しましま先生のメモがおすすめです。

自宅で燻製してBBQで炭火焼きにした

おはようございます，またはこんにちは，またはこんばんは．カイヤンです．

こちらの記事では，GW後半に実施した自宅内の燻製環境構築と実際に燻製してみた話を書きます．

環境構築

自宅で簡単に燻製環境を整える方法はCAMPHACKのこちらの記事を参考にしました： camphack.nap-camp.com

この記事では本当に108円の鍋などでアイテムをそろえていますが，実際にダイソーに行くとなかなか都合よく鍋やホール型はありませんでした． 500円やら400円やらという，ダイソー内でのちょっとお高いイイモノであれば揃えることができたので，鍋は500円のものを，ケーキホール型は400円のものを買いました．

• 16cm直径の鍋（チップの加熱）：500円
• 16.5cm直径のお菓子作りの粉ふるい（燻製対象を載せる網代わり）：100円
• 18cm直径のケーキホールの型，そこが外せるタイプ（燻製対象の大型化対応と対流のための空間形成素材）：400円

以上1000円＋税で素材を揃えました．実際にはケーキホールの型にあうような鍋フタ（元の鍋より大きい径になりがちで流用困難），チップを載せるためのアルミホイル，燻製対象の食材を載せるためのクッキングシートなども必要です．

ダイソー素材＋家にあった鍋フタで作った燻製機．アルミホイルは直径の微妙な修正に有用

また，燻製と言えば煙が当然出てきますが，自宅で何も考えずにやると良くて家が燻され最悪の場合は窒息死が待っているでしょう． 我が家はダイニングキッチン（ダイニングは物置状態ですが）で小さいながら窓もあるため，窓を開けて換気しつつ，以下のように油跳ね防止のアルミ板x2を設置して換気扇に煙が吸われやすくしました：

煙対策はこれでしたね（あげわすれ） pic.twitter.com/xYrCMseDir

— 帰ってきたカイヤン@一介のベイズ好き (@389jan) May 6, 2019

このアルミ板もダイソーに売っていましたが，1つ200円でした．〆て400円．

費用をまとめると，ここまでで1400円＋鍋フタ＋アルミホイルとクッキングシート＋税，です．

煙を出すためには燻製に使うウッドやチップが必要です． ホームセンターに行けば桜チップなどのスモークウッドは入手できるのですが，ホームセンターに行けばというのは実はかなり強い仮定ではないでしょうか． 駅の近くにホームセンターはそうそうあるわけではないですし，遠くのホームセンターに車や自転車なしで行くのはホネが折れます．

AMAZONを使えば簡単に買えますが，当日に今すぐほしい！　となると通販は使いにくいです． www.amazon.co.jp

そこで，スモークウッドを何かで代用できないかと考えましたら，こちらも先駆者がいました： www.alicey.jp

こちらの記事によれば，麦茶の茶葉が一番おいしいらしいので，てきとーな麦茶パックを購入，中をかっさいてスモークウッド代わりにしました． ブログを書く段になって少し調べると，麦茶を代用する手法が上記記事以外にもいくつか出てきたのでそういうことなんだと思います．

「麦茶　茶葉　燻製」で検索する

麦茶パックはスーパーや薬局のやすいやつでいいと思います．桜チップなどを使うと値段は上がりますが代用ではない本物になります．

アルミホイルとクッキングシートが家にあったり，他の鍋のフタで燻製機のフタにしてしまう場合は，麦茶利用なら2000円未満，チップ利用なら2000円強といったところでしょうか．

燻煙実施

というわけで準備が整いましたので早速燻製していきました．

家で燻製！ pic.twitter.com/ooTOSA4M83

— 帰ってきたカイヤン@一介のベイズ好き (@389jan) May 3, 2019

画像にはありませんが，鶏のささ身を昔家族キャンプで熱燻したときにそのまま食べられたので，こちらもやってみました．

スモークチーズは雪印の６Pチーズです．溶けやすいチーズも少なくないため，実はかなり良い選択だったようです．Ref.: www.peatshop.com

実施したのはせっかくのGWですし，その日は後々BBQに行くこともあって，ちょっと奮発して成城石井というﾊｲｿなスーパーでお肉は買いました*1． （失敗していたらめちゃくちゃもったいなかったなこれ）

ラムチョップはいくら熱燻と言えどそのままかじりつくのは怖い＆加熱するならせっかくだから予定しているBBQで炭火焼したい， というわけでBBQに持っていくことにしました．

pic.twitter.com/RvJZmrjTjR

— 帰ってきたカイヤン@一介のベイズ好き (@389jan) May 3, 2019

これをBBQに持っていって炭火焼き！！
うまああああい！ー！！！ pic.twitter.com/2tBnq0TrX9

— 帰ってきたカイヤン@一介のベイズ好き (@389jan) May 3, 2019

信じられないほどおいしかったです！！

燻製の風味と炭火焼の風味がどちらも打ち消しあうことなくむしろ高め合うような抜群の相性！ 骨を手で持ってかぶりつくワイルドな食べ方も相まって大変幸せな味でした！　羊さんありがとう！！

むすび

• 2000円強あれば自宅で燻製環境が作れる
• いいものを燻製したらやっぱりおいしい
• BBQの仕込みとかでも燻製は有用，マジうまい

以上です，読んでいただきありがとうございました．

それでは．次の記事があればまたよろしくお願いします．

*1:家の近くの大きなスーパーがみんな高級志向で普段はちょっと困る……