論文の概要: From Local Prediction Error to Final Outputs: A Theory of Expert Sharing in Multi-Step Reasoning
- arxiv url: http://arxiv.org/abs/2611.17879v1
- Date: Fri, 13 Nov 2026 08:13:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.33446
- Title: From Local Prediction Error to Final Outputs: A Theory of Expert Sharing in Multi-Step Reasoning
- Title(参考訳): 局所予測誤差から最終出力へ:マルチステップ推論におけるエキスパート共有の理論
- Abstract要約: Mixture-of-experts (MoE)モデルは、レイヤや計算ステップで専門家を共有することができる。
これらの局所的な利得が構成を生き残るかを研究する。
- 参考スコア(独自算出の注目度): 30.029148425033302
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixture-of-experts (MoE) models can share experts across layers or computational steps, pooling training information from different contexts. This can reduce local prediction error, but multi-step systems are ultimately evaluated by their final outputs. We study when these local gains survive composition. In specified linear regression models, we derive exact sharing and merging criteria by balancing variance savings against bias from sharing across roles with different target behavior. Under a common fixed linear propagation map, we characterize expected squared final-output risk, retaining error directions and correlations. We construct cases where sharing lowers average local error yet increases final-output error. Within this setting, we also identify when orthogonal full pooling with isotropic noise preserves every local improvement at the final output. For general routed computations, we derive conditional end-to-end error bounds that account for distribution shifts, errors in surrounding components, and changes in expert selection. Separately, we show that correct predictions and route labels alone do not establish that individual experts implement the attributed operations. Controlled experiments realize a strict local-to-final risk reversal. In low-data symbolic settings, trained Transformers exhibit statistically supported teacher-forced one-step gains without statistically resolved free-running final-output gains. Separate intervention tests distinguish successful multi-layer actions from single-expert attribution and generalization to unseen transitions. Together, these results distinguish when sharing improves local estimation, when those gains survive to the final output, and what evidence is needed to attribute reusable operations to individual experts.
- Abstract(参考訳): Mixture-of-experts(MoE)モデルは、レイヤや計算ステップのエキスパートを共有し、異なるコンテキストからトレーニング情報をプールすることができる。
これにより局所的な予測誤差を低減できるが、最終的な出力によってマルチステップシステムは最終的に評価される。
これらの局所的な利得が構成を生き残るかを研究する。
特定線形回帰モデルでは、異なる目的行動を持つ役割間の共有からバイアスに対する分散保存のバランスをとることによって、正確な共有とマージ基準を導出する。
一般の固定線形伝搬マップでは、予測される2乗最終出力リスクを特徴付け、誤差方向と相関性を保持する。
共有が平均的な局所誤差を低くするが、最終的な出力誤差を増大させるようなケースを構築する。
この設定内では、等方性雑音による直交完全プールが最終出力における局所的な改善を全て保存するタイミングも特定する。
一般的な経路計算では、分散シフト、周辺コンポーネントのエラー、エキスパート選択の変化を考慮した条件付きエンドツーエンドエラー境界を導出する。
また,適切な予測と経路ラベルだけでは,個々の専門家が属性付き操作を実施できないことを示す。
制御された実験は、厳密な局所的・最終的リスク逆転を実現する。
低データのシンボリック設定では、トレーニングされたトランスフォーマーは、統計的に解決された無料のファイナルアウトプットなしで、統計的に支援された教師によるワンステップゲインを示す。
個別の介入試験は、単一専門家の帰属と、目に見えない遷移への一般化から、成功した多層的作用を区別する。
これらの結果と合わせて、共有が局所的な見積もりを改善するとき、最終的なアウトプットに利益が残るとき、そして個々の専門家に再利用可能な操作に何の証拠が必要であるかを区別する。
関連論文リスト
- RAPTOR: Role-Aware Private Training for Mixture-of-Experts [68.5626338219096]
RAPTORはRole-Aware Private Trainingフレームワークである。
RAPTORは共有と専門家の最適化を交互に行い、各障害を直接ターゲットする。
GLUEタスク間でのSwitch TransformerとOLMoEの微調整およびDeepSeek-VL2-Tinyの実験では、標準のDPベースラインよりも一貫した利得を示している。
論文 参考訳(メタデータ) (2026-09-04T23:16:12Z) - How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。
因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。
本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
論文 参考訳(メタデータ) (2026-06-10T21:07:49Z) - Harnessing Hierarchical Label Distribution Variations in Test Agnostic Long-tail Recognition [114.96385572118042]
テストラベルの分布の変動は階層的にグローバルレベルとローカルレベルに分解できると主張している。
ラベル分布の異なるDirichletメタ分布に専門家を割り当てる新しいMoE戦略である$mathsfDirMixE$を提案する。
本稿では,分散に基づく正規化による一般化の促進による目的性を示す。
論文 参考訳(メタデータ) (2024-05-13T14:24:56Z) - Uncertainty Voting Ensemble for Imbalanced Deep Regression [20.176217123752465]
本稿では,不均衡なデータから学習するUVOTEを紹介する。
従来の回帰損失を負の対数類似度に置き換え、サンプルワイドのアレタリックな不確実性も予測する。
UVOTEは先行技術より一貫して優れており、同時に精度のよい不確実性評価が得られている。
論文 参考訳(メタデータ) (2023-05-24T14:12:21Z) - Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
局所変換近傍における分類器の出力不変性の尺度を提案する。
私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。
画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
論文 参考訳(メタデータ) (2022-07-05T14:55:16Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳(メタデータ) (2021-06-14T05:39:09Z) - Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。
我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。
Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
論文 参考訳(メタデータ) (2020-07-24T05:18:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。