おはようございます、またはこんにちは、またはこんばんは。カイヤンです。
今回はIBIS2025参加記録の記事です。そう、久しぶりの学会参加記録です。 では早速ゴー。
IBIS2025参加記録
IBISとは
IBISは情報論的学習理論ワークショップ（Information Based Inductive Science）という、国内最大の機械学習分野の学会です。
組織::学会としては電子情報通信学会（IEICE、日本のIEEE的なやつか）に属しており、その中で独立性を持って大会とワークショップが開催されています。 特に大会の方を指して、IBISYYYYと書くことが多いです。たとえば今年のはIBIS2025です。 ちなみにibisは英語で朱鷺を意味し、初回の28年前というAI冬の時代において絶滅危惧種となった自分たちを指してあやかった命名と言い伝えられています。
カイヤンは修士1年時にこの分野に参入して以来、ほぼ毎年参加しています。 比較的ゆるい組織に属していたころは、ここに聴講ログをベタっと貼ったりしてましたね。
パタパタとしていた1か月少々（IBIS2016参加記録を含む） - カイヤン雑記帳
【IQ1AdC】新しい生活様式におけるIBIS2020参加報告【12/8】 - カイヤン雑記帳
最近は聴講ログの持ち出しがちょっとめんどくさそう＋あまり参加記録ブログを書く文化を確認しなくなったことで途絶えていました。 最後が5年前ってマジ……？
今回も従来のような聴講ログはないですが、個人的にとても「おお」となった点があるので取り上げています。
雑感
全体的な雰囲気
段々と応用・社会実装な雰囲気に良くも悪くも飲まれつつある弊分野ですが、今年のIBISはIBISらしい理論・アルゴリズム寄りの構成だったように思います。
特にデータ構造とアルゴリズムだったり、形式手法との関係だったりは、普段の学習理論やアルゴリズムとはまた違った側面を感じさせるものでした。
応用についてもデータ基盤であったり時系列解析であったりと、非常に地に足着いたものの印象でした。
でも日本の国内会議なのに招待講演を全部海外勢・英語にしてしまうのはどうなんだろう……来年は英語日すら検討しているようだし……。
そしてポスター発表。ここは例年理論寄りで、企画セッションがどうだろうと大きくは変わらず強いて言えばどこかの研究グループが多くやってくるとその雰囲気が混ざるという場所でしたが、今年もそんな形でした。 ですが、特に「おお」となったのは今年はポスター発表でした。次のセクションで述べます。
ポスター発表に光る特異学習理論
私のブログを長く読んでくださっていたり、あるいはTwitter（オット今はXと言うんでしたね）をフォローしてくださっていたりする方はご存じかと思いますが、特異学習理論という分野があります。 統計・機械学習分野の中の一つで、ニューラルネットワークのような特異モデルの特異点が持つ代数幾何学的な構造に注目したとても面白い学習理論です。 特異学習理論については他にもわかりやすい解説がありますが、本ブログでも関連トピックを何度か取り上げています。
人工知能ブームという名のニイタカヤマをノボレ1208 - カイヤン雑記帳
【IQ1AdC】W理論こと特異学習理論の重要論文公式10本ノック【12/9】 - カイヤン雑記帳
さて、そんな特異学習理論ですが、ものすごくmain streamなトピックかというとそういうわけでもありません。 代表的な成果であるWAIC/WBICは名前の通り広く使われている（widely applicable）のですが、理論そのものに関わる研究は必ずしもすごく多いとは言えません。 しかし、今年のIBISは一味違いました。毎年1～2件のポスター発表があるくらいだったのですが、今年はなんと5本も出ていました。
一般発表一覧から引用すると以下の通りです：
多段学習における回帰精度の漸近解析
確率的勾配降下法に関する特異学習理論を用いた考察
WAICとWBICを結ぶ漸近的な方程式
大偏差原理を用いた特異学習モデルの複雑性指標の特徴づけ (Characterization of complexity measure for singular learning models via large deviation principle)
このうち1と3は漸近論を新たに拡張した成果で、2, 4及び5は特異学習理論に登場するモデルの固有次元「実対数閾値」*1に関わるものでした。 実は海外ではこの「実対数閾値」がAIアラインメントの観点から注目されているようで、損失地形を捉えるという現代的な深層学習理論と結びついてモデルの獲得している知識との対応が研究されています（つまり「実対数閾値」を追跡すると、モデルの変化を検出できるという話）。
この論文では、LLMを作るのに使われるアーキテクチャであるTransformerを対象に、その事前学習において「実対数閾値」の追跡計算を実施し、学習ステージを検出しています。 各ステージごとに、バイグラム→n-gram→……とモデルが賢くなっていることが確かめられたとのことです。 こちらの研究を皮切りに*2、深層学習においても「実対数閾値」が重要でそれを求値する方法を考える機運が高まってきたのではないでしょうか。そしてそれが日本にも伝わってきたのが今回のIBIS……？
特異学習理論の解説をAIアラインメントとの関係から見た話を日本語でという方には、以下のxiangzeさんの記事がまとまっていてわかりやすいと思います。
ともかくそんなわけで、今年のIBISは特異学習理論がアツかったようです。今後どうなっていくのか、ワクワクですね……！
（なんだこのGPTみたいなむすび……実際GPTとお話ししすぎて口調というか文体が感染ってきた気がします）
