【社会人学生AdC】未回収の博士号【12/15】

おはようございます，またはこんにちは，またはこんばんは．カイヤンです．

今回は社会人学生AdCの12月15日担当の記事です． 社会人博士（社D）は人数が決して多くないため，情報量も多くありません． 社Dを検討している大学の後輩もちらほらいますので，なぜ＆どのようにして社Dになったのか，などだけでも公開することで集合知への寄与ができるのではないかと考え，今回のAdCに参加しました*1．

TL;DR

社D進するためには以下の3点がポイントです．

• 社Dが現実的に可能な会社を目指した就活をすることになります．似たスペックの同期よりもずっと落とされることが多くなるかもしれません．
• 会社側だけでなく研究室側の理解も必要です．仕事が原因で研究室に来れないことに寛容でないボスの場合，お互いの不幸が待っているでしょう．
• 仕事がD論に寄与できないことも考え，修士から業績に貪欲になりましょう*2．

カイヤンはまだ博士号を取ったわけではないため必要条件に過ぎないことを注意してください．

記事構成

本記事の構成は以下の通りです．まず，そもそも博士号取得を志す前までの専門や研究に対するカイヤンの思考の変遷を記します．次に実際に社Dのケツイがみなぎった*3経緯を記します．それから，ケツイ後のG(raduated)ルート修士課程の過ごし方，次いで就職後の過ごし方を記します．最後に，現状整理と今後の展望を述べて結びます．実際の過ごし方だけご覧になりたい方は下記の目次を利用して後半以降をお読みください．また，前半のせいで記事の見た目が長くなるのも考え物なので折り畳みを使います．経緯説明のペース配分については，Dを実際に考えている後輩からの次のリプライを参考にしました．この場を借りて感謝いたします．

返信遅くなりました。
社Dで不安なこと、現状だとこんな感じです。
・時間の使い方(とにかく数多くみたい)
・研究室のスタッフ、学生との関わり方
・(企業の研究職なので)会社の業務との切り分け(権利関係)

— (u・∇)u (@vivid_force42) 2019年12月5日

先にこの（意味合いをマージした）６点に回答すると，以下のようになります．

• M1の前期終わり～夏休みころに社Dをケツイした．
• 上長は嫌な顔というほどではない，と信じたい（むしろ心配をかけているかもしれない）．PMは応援してくれた．会社として支援制度はなく裁量労働制の中でやり繰りする．
• 平日は基本仕事だが合間を見つけたり帰宅後に研究することがある．休日はやる気があれば頭を捻るが体力気力回復に使いがち．
• 仕事が平穏なら週一で夕方から，繁忙期はなんとかして月一で通う．
• ボス先生とはラボに行く日＝面談という関わり方で，それ以外の日は何かあればメールでやりとり．学生室に学生がいれば普通に雑談やディスカッションをするが後輩への教育義務はない．事務方とは特に関わりはない．
• 勤め先と全く関係ない理論研究なため，権利関係や利害関係衝突はない*4．ただし発表時には社名を出す必要があったり，上長に機密情報がないことを確認してもらうフェーズがある．

目次は以下です．

*1:執筆目標の正当化．政治力50消費．

*2:M2の方，申し訳ありません．

*3:I've filled with "D"etermination. Undertaleはいいぞ．

*4:弊社サービスに用いられているロジックの競合手法を肯定する結果となる理論研究していたりもする．これくらい自由．

【IQ1AdC】W理論こと特異学習理論の重要論文公式10本ノック【12/9】

おはようございますまたはこんにちはまたはこんばんは，カイヤンです．

本記事はIQ1 Advent Calendar 2019（主催者 id:chakku000 ）における12月9日の記事です．

• 参考：IQ1 Advent Calendar 2018
  • 2018/12/11の拙著記事「IQが1のデータ分析：respects いつも何度でも尋ねられること」

おことわり

今回は，ベイズ推論の特異学習理論（Watanabe理論，W理論）についての記事です．IQ1なので数学的に厳密な書き方でないどころか数式が登場しませんのでご了承ください． また，IQ1なために各論文を肯定的に読んでいます（理論が中心の紹介ですが一部の数値実験についても）．クリティカルリーディング要素はありません．申し訳ありません．

よりおことわりらしいおことわりはIQ1AdCの雰囲気をぶち壊すので折り畳みます．

IQ1AdCそのものは穏当な内輪ネタです．学習理論の研究者をバカにする意図もなければ，IQの専門家や本当に困っている方々を嘲る意図もないことを強調させていただきます．あくまでカイヤンが内輪ネタ::IQ1なだけです．

以降は論文紹介＆IQ1AdCのテンションで書きます．

概要=TL;DR

• IQ1にとってサーベイは大変であるが，渡辺先生のHPに公式10本ノック的なW理論の重要論文が上がっていた．
• 数あるW理論論文のなかでなぜその10本なのか（何がすごいのか）を各論文の概要を説明しつつ考察してみた．

本記事の構成は以下のようになります．

IBIS2019参加記録

おはようございます，またはこんにちは，またはこんばんは．カイヤンです．

今回は国内最大の機械学習の学会であるIBIS2019の参加報告です．かんそうぶんてきなやつと，聴講記録メモを下記に記しています．

• 参考１：IBIS2018参加記録
• 参考２：IBIS2017参加記録
• 参考３：IBIS2016参加記録

聴講メモ（長い）を含む目次は以下．

IBIS2019 参加報告

現地の様子

場所は名古屋で，G20との兼ね合いもあり駅ロッカーが封じられるといった事態が起きていました．ACML2019や若手会からの連続開催となっており，9日以上も名古屋に滞在していた方もいたようです．食事の名物が多いため食べ飽きることはありませんでした．

初日朝，名古屋着．

開催趣旨は「 拡散、浸透と深化 」．間違いなく機械学習が社会の中に広がり・染み渡ってきましたが，それは今日までの理論と方法の研究成果でした．そして深層学習の理論をはじめとした新たな基礎課題も認識されてきています．この背景の中で，今回の主要なセッションは理論的な方法あるいは理論そのものが中心となっており，これまで浸透してきたものの基礎が今日どうなっているかが発表されている形でした．逆に，社会応用の発表としては落合先生の招待講演が際立っていましたが内容については記事化不可の発表だったため控えます．

ポスターは240件（一日当たりおよそ120件）と非常に多く，発表時間もそのぶん3時間程度と例年より伸びていました．純粋に聴講だけをする参加となったため，どちらの日程でも気になった発表を深めに聞くことができました．例年よりも幾何的なアルゴリズム導出は減っているものの，理論の発表が減ったという印象はありませんでした．どちらかというと統計・学習理論的をベースとしたアルゴリズム提案が理論よりの発表では多めでした．完全な応用としては，聴講する時間はありませんでしたがポケモン画像連想システムのWebアプリデモというIBISとしてはかなり珍しいであろう発表形式のものがありました．

名古屋名物の一つ，矢場とんの味噌カツ．

かんそう

感想は上記以上に完全に主観なので折り畳みしておきます．参加し始めて4年目の若造がなんか言ってるってだけです．

カイヤンはIBISには2016年度から参加しており，今年で4回目です．しかし，これまでと異なり発表成果物を用意することが間に合わなかったため，初の純粋聴講となってしまいました．

発表しない側として聴講した感想ですが，やはり発表したかったという悔しさが第一に来ます．来年度はつくばらしいですが，リベンジできるように社Dとして研究を頑張っていきたいと思いました．純粋な聴講だったということに対しての感想は月並みですがこんなところです．

学会を聴講した感想としては，今年は昨年度以上に理論ある方法に寄っていて「IBISこわい」らしくてとてもよかったなと思いました．一方，テクニカルトラックを完全に廃したのは，論文が残っておらず発表媒体として個人でポスターを公開でもしない限りはせっかくの成果が散逸しやすいのではないかとも思いました．また，会場の雰囲気としてはIBIS2016～2018（年度が若いほど顕著）ではそこそこクリティカルな質問もしやすい雰囲気，すなわち下記ツイートの「理」に近かったのですが，今年は「工～医」っぽい感じになっていたなあとも思います．

学会における講演後の質問の仕方の分野別勝手なイメージ。

医「大変興味深いご講演ありがとうございます。先程仰られたAという件についてお聞きしたいのですが……」

工「○○大の○○です。先程仰られたAという件ですが……」

理「そこおかしくない？」

— ロボ太 (@kaityo256) 2019年11月21日

機械学習が完全に工学に取り込まれてしまったのだとしたら，学習という問題に対して応用の有無を問わない興味駆動サイエンスしていきたい側としては非常に寂しいところです． そういえば，「機械学習工学」の企画セッションでも，「そもそも機械学習は工学じゃないか，とお考えでしょうが～（注：以下，機械学習工学は機械学習を使った工学という意味ではなく，ソフトウェア工学の観点から機械学習を扱う領域であるという説明が続く）」というお話がありました．今回の開催趣旨からしても，かなり社会に馴染んできて学術領域としても社会よりに急激になってきたということなのかもしれません．しかし，その中でこれまで培った理論と方法が役立っておりかつ新たな基礎課題（例：深層学習理論）も見つかっているという現状認識をして，今回のような理論と方法のセッション中心で開催していただいたのは慧眼と思います．

全体的な感想は上記のようなところですが，特別気になった発表としては，

• Marc Deisenroth先生による招待講演（ガウス過程とベイズ推論の考え方が強化学習・data efficient learningにおいて重要であるという内容）
• ポスター「2-007」（PACベイズ理論を輸送理論を用いてこれまで適用できなかった予測器にも使える理論としたという発表）
• ポスター「2-086」（基本的なMCMC法であるメトロポリスヘイスティング法のチューニングで重要となる提案分布のステップサイズが特異学習理論・代数幾何学において重要な実対数閾値とゼータ函数で記述できることを証明したという発表）

がありました．特に目当ての発表だった「2-086」は特異学習理論の新たな応用の方向性を基礎づける内容でした．また，「2-007」は今日でPACベイズの研究を見れるとはと期待していきましたがVC理論が対象としていたようなNNのような予測器も取り扱えるPACベイズの拡張となっており，DLの理論作りにPACベイズ的なアプローチも可能になるのではないかと思える内容で，この2発表はとても印象に残りました（後者は受賞もしています）．

他にも，VAEの相転移構造についての実験的・物理的考察（マクスウェルの悪魔など）や，圏論による統計的機械学習の整理という発表も気になりました．

以下，聴講記録メモです．

コンパクトかつ網羅的という点では、しましま先生のメモがおすすめです。