問題を、専門家へ分ける
古典的なAdaptive Mixtures of Local Expertsは、複数のexpert networkが訓練事例の部分集合を担当する学習手続きを示しました。卒論の「学習器ごとに担当データを変える」という発想に最も近い出発点です。
Undergraduate Thesis / Revisited with AI in 2026
誰に、どのデータを
任せるか。
このページの立ち位置
これは査読済み論文の成果紹介ではありません。卒業研究で立てた「データの中にある意味のある分割を学べるか」という問いを、AIとの共同作業で検証し直し、論文化できる研究課題へ育てられるかを探る記録です。
Origin卒業論文
当時の着想、手法、実験結果を紹介する。
NowAIと再現・再検証中
AIと共に小さな追試を行い、卒論の仮説と限界を切り分ける。
Next追加研究・論文化を模索
貢献を絞り、再現可能な比較と反証条件を設計する。
00 / Background
この問いは、MoEとLLMへつながる
THE SAME QUESTION, AT DIFFERENT SCALES
「すべての入力を同じモデルで処理するのではなく、入力に応じて専門家を選ぶ」という考え方は、Mixture of Experts（MoE）の中心にあります。卒論の手法も同じ系譜に置けますが、現代のLLMで使われるMoEと同一ではありません。
tokenごとに、計算を選ぶ
Sparsely-Gated MoEやSwitch Transformerでは、routerが入力表現に応じて少数のexpertを選びます。Mixtralでは各token・各層で8つのfeed-forward expertから2つを選択します。目的の一つは、計算量を比例して増やさずモデル容量を増やすことです。
queryごとに、モデルを選ぶ
もう一段外側では、promptに応じて異なるLLMへ処理を振り分ける研究があります。RouteLLMは強いモデルと弱いモデルを動的に選び、応答品質と推論コストの両立を扱います。
Connection, not equivalence
共通するのは、入力依存の割当をどう学び、専門化が本当に起きたかをどう観測するかという問いです。一方、卒論は各サンプルが各回帰器の「学習」に寄与する重みを扱い、LLM内部のMoEはtokenごとの「計算経路」を、model routingはqueryごとの「利用モデル」を選びます。粒度・目的関数・計算制約が違うため、LLMへの有効性はまだ実証していません。
01 / Idea
平均から、分業へ
THE CORE INTUITION
通常のアンサンブルは複数の予測を平均し、個々の誤差を打ち消します。この研究は一歩手前に戻り、各学習器へ渡すデータの重み自体を入力から決めることを考えました。
ひとつでは表しにくい
異なる規則が混在するデータへ一本の回帰線を引くと、どちらの規則にも十分には適合しません。
担当を重みで表す
入力 x ごと、学習器 j ごとに重み wj(x) を与えます。0/1なら分割、連続値なら柔らかな分業です。
Σⱼ Σᵢ wⱼ(xᵢ) · loss(yᵢ, fⱼ(xᵢ))
担当の決め方も学ぶ
wj(x) を固定せずニューラルネットで学習し、各入力をどの学習器へ任せるかをデータから獲得します。
触って理解する「柔らかな分業」
CONCEPTUAL ILLUSTRATION — NOT EXPERIMENT DATA
学習器 A
学習器 B
最終予測は −0.28。境界で担当を急に切るのではなく、Softmax の重みで滑らかにつなぎます。
この図は論文の着想を説明するための再構成です。原実験の数値や性能を再現するものではありません。
02 / Method
二つを、同時に学ぶ
PREDICTION × ASSIGNMENT
実装は、入力表現を共有する8個の回帰ヘッドと、8個の重みを出す weight module で構成しました。重みは Softmax を通し、入力ごとの合計が1になるよう制約しています。
Input
5次元の特徴量 x
混合分布から生成した回帰データ
→
Shared representation
共有する潜在表現
128次元の全結合層 × 2
→
Predict
8 regression heads
f₁(x) … f₈(x)
Assign
Weight module
Softmax → w₁(x) … w₈(x)
もう一つの提案
Negative Correlation Learning を sample weight 側へ拡張した正則化項を導出し、学習器間の担当がどう変わるかを検討しました。導出からは、元の符号では苦手を補う AdaBoosting に似た挙動、符号を反転すると得意領域への分業を促す挙動が予想されました。
03 / Result
勝った、では終わらなかった
WHAT THE EXPERIMENT ACTUALLY SAID
人工データ上で4手法を各10回比較しました。提案手法 corr-minus は汎化誤差のばらつきが最も小さかった一方、中央値の差は大きくなく、最良の単一試行はベースラインでした。
Samples300
Experts8
Methods4
Runs / method10
結果の安定性
バリデーションでモデル選択した後のテスト誤差は、corr-minus で最もばらつきが小さくなりました。精度の絶対的優越より、安定性に価値がある可能性を示しました。
万能な精度向上
中央値は大差なく、最小誤差を出した試行はベースラインでした。「提案法が常に高精度」とは結論できません。
検証データなしの停止判断
学習データだけから計算した重みの多様性や勾配の指標が、テスト誤差の底付近で特徴的に変化しました。オーバーフィット検出へ使える可能性が残りました。
04 / Follow-up
AIと共に、仮説を小さく追試した
HUMAN × AI FOLLOW-UP / 2026
卒論の主張全体を一度に確かめるのではなく、「入力依存の分業は、意味ある分割があるときに効くか」だけを分離しました。生成規則が一つのデータと、入力 x₀ の符号で二つの線形規則が切り替わるデータを、同じ条件で比較しました。
異なる二規則が混ざる条件
TEST MSE MEDIAN / LOWER IS BETTER意味ある分割があるとき、分業は効いた
異質な条件でsample-weight型は単純平均を20/20 seedで上回り、MSE中央値を 2.696 から 1.132 へ下げました。
分割がなければ、routingは余計だった
一規則の条件では単純平均 0.254 に対しsample-weight 0.263。改善はなく、直接routingは 0.333 まで悪化しました。
担当発見はseedに敏感だった
sample-weight型はgateを当てたrunと外したrunに分かれました。gate精度とMSEの相関は−0.993。表現力より、routingの最適化がボトルネックです。
ウォームスタートも決定打ではない
見かけの中央値は 0.558 まで下がりましたが、元のsample-weight型とのpaired比較では4/20 seedでしか勝たず、安定した修正とは判定しませんでした。
05 / Research Agenda
論文化できる問いへ、削っていく
CANDIDATE CONTRIBUTIONS — NOT CLAIMS
AIと共に行った追試は卒論の着想が残ることを示しましたが、それだけでは新しい論文の貢献になりません。現在は、何を主張し、何を反証できれば一本の研究になるかを、次の三方向から絞り込んでいます。
routingの不安定性
gate精度と誤差が強く連動し、seedによって担当発見の成否が分かれました。初期化、負荷分散、正則化、複数restartのどれが安定化へ効くかを分解します。
専門化をどう観測するか
割当のentropy、expert間の誤差相関、勾配、利用率を追跡し、最終精度を見る前にcollapseや過学習を検出できるかを検証します。
MoE・LLMへ移せるか
まず回帰でsample-weight型と出力混合型、sparse top-k routingを公平に比較します。その上で成立した仮説だけを小規模Transformerへ移し、token routingでも再現するかを問います。
Current status
現在はAIと共に研究テーマを探索し、再現基盤を整えている段階で、投稿稿・採択実績はありません。ワークショップ、preprint、査読論文のどの形が適切かも、追加実験で独自性と再現性を確認してから判断します。このページ自体を、検証が進むたびに主張と限界を更新する研究ログとして扱います。
06 / Audit
AIと共に、卒論を査読する
KEEP / REVISE / TEST NEXT
完成度を取り繕うのではなく、何が今も生きていて、何がまだ仮説なのかを分けます。研究を価値あるものにするのは、過去の結論を守ることではなく、次に反証できる形へ直すことだと考えています。
Human × AI
AIとの対話を通じて、関連研究への接続、実験設計への批判、追試コードの作成と検証を進めました。AIの出力をそのまま結論にはせず、何を問い、結果をどう解釈し、何を公開するかの判断と責任は著者が持ちます。
KEEP
問題設定
一様な平均ではなく、入力依存の分業を学ぶという問いは明快です。Mixture of Experts や routing の問題として、より広い文脈へ接続できます。
KEEP
観測の視点
最終スコアだけでなく、重み・誤差相関・勾配の軌跡を見たこと。学習内部の指標をモデル選択へ使う発想は、追試する価値があります。
REVISE
実験の強さ
人工データ300件、テスト15件、各10試行では結論が不安定です。複数のデータ生成過程、反復数、信頼区間、現代的なベースラインが必要です。
REVISE
理論と実装の橋
高次の目的関数は複雑で、符号を変えた二手法が似た挙動をした理由も未解決です。導出の再検証と、各項を外す ablation が必要です。
論文化へ進むための検証
- sample-weight目的と出力混合型MoEの関係を定式化し、同じ条件で比較する
- Negative Correlation項、gate初期化、restart、load balancingをablationする
- 人工データで事前登録した支持／反証基準を、表形式の実データへ持ち込む
- routing内部指標が失敗や汎化を予測できるか、独立したデータで検証する
- 回帰で貢献を確立できた場合に限り、小規模Transformerでtoken routingへの転用を試す
What remained
この研究で残ったのは、ひとつの手法よりも、
「モデルの振る舞いを、どう観測するか」という問いでした。
現在取り組んでいる実験 lineage、検証設計、エージェントの observability も、結果だけでなく途中の判断と変化を記録するという点でこの問いにつながっています。