論文の概要: Bayesian Mixture-of-Experts: Towards Making LLMs Know What They Don't Know

• arxiv url: http://arxiv.org/abs/2509.23830v1
• Date: Sun, 28 Sep 2025 12:07:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.474432
• Title: Bayesian Mixture-of-Experts: Towards Making LLMs Know What They Don't Know
• Title（参考訳）: Bayesian Mixture-of-Experts: LLMに自分が知らないことを知らせる
• Authors: Albus Yizhuo Li,
• Abstract要約: Mixture-of-Experts (MoE) は大規模で効率的な大規模言語モデルの構築を可能にした。 標準的な決定論的ルーティングメカニズムは、重大な制限を提示する。 この論文では、構造化されたtextbfBayesian MoEルーティングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The Mixture-of-Experts (MoE) architecture has enabled the creation of massive yet efficient Large Language Models (LLMs). However, the standard deterministic routing mechanism presents a significant limitation: its inherent brittleness is a key contributor to model miscalibration and overconfidence, resulting in systems that often do not know what they don't know. This thesis confronts this challenge by proposing a structured \textbf{Bayesian MoE routing framework}. Instead of forcing a single, deterministic expert selection, our approach models a probability distribution over the routing decision itself. We systematically investigate three families of methods that introduce this principled uncertainty at different stages of the routing pipeline: in the \textbf{weight-space}, the \textbf{logit-space}, and the final \textbf{selection-space}. Through a series of controlled experiments on a 3-billion parameter MoE model, we demonstrate that this framework significantly improves routing stability, in-distribution calibration, and out-of-distribution (OoD) detection. The results show that by targeting this core architectural component, we can create a more reliable internal uncertainty signal. This work provides a practical and computationally tractable pathway towards building more robust and self-aware LLMs, taking a crucial step towards making them know what they don't know.
• Abstract（参考訳）: Mixture-of-Experts (MoE) アーキテクチャにより、大規模かつ効率的なLarge Language Models (LLM) の作成が可能になった。 しかし、標準的な決定論的ルーティングメカニズムは、重大な制限を呈している: その固有の脆さは、モデルの誤校正と過信に重要な貢献者であり、その結果、しばしば自分が知らないことを知らないシステムをもたらす。 この論文は、構造化された \textbf{Bayesian MoEルーティングフレームワークの提案によって、この課題に直面している。 一つの決定論的専門家選択を強制するのではなく、我々のアプローチはルーティング決定自体の確率分布をモデル化する。 ルーティングパイプラインの異なる段階で、この原理的不確実性を導入するメソッドの3つのファミリを系統的に検討する。 3ビリオンパラメータMOEモデル上での一連の制御実験により、このフレームワークはルーティング安定性、分布内キャリブレーション、分布外検出(OoD)を大幅に改善することを示した。 その結果、このコアアーキテクチャコンポーネントをターゲットとすることで、より信頼性の高い内部不確実性信号を生成することができることがわかった。 この研究は、より堅牢で自己認識のLLMを構築するための実用的で計算可能な経路を提供し、彼らが知らないことを知ってもらうための重要な一歩を踏み出した。

関連論文リスト

• Improving Routing in Sparse Mixture of Experts with Graph of Tokens [32.46693871593765]
  確率的グラフィカルモデル(PGM)の観点からSMOE(Sparse Mixture of Experts)の限界を明らかにする。 本稿では,専門家選択時のトークン間の相互作用を考慮した新しい類似性認識(S)MoEを提案する。 我々は、様々なタスクやドメインでモデルを実証的に検証し、ルーティングのゆらぎを低減するための大幅な改善を示す。
  論文  参考訳（メタデータ） (2025-05-01T18:44:20Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment [103.05005690990271]
  MoTE(Mixture of insightful Experts)は、推論チェーンとエキスパートミックスを組み合わせて自己調整を改善する新しいフレームワークである。 MoTEはモデルの安全性、脱獄耐性、過剰な拒否機能を大幅に改善し、OpenAIの最先端のo1モデルに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-01T15:06:05Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Training, Architecture, and Prior for Deterministic Uncertainty Methods [33.45069308137142]
  本研究は決定論的不確実性法(DUM)における重要な設計選択について検討する。 コアアーキテクチャと不確実性ヘッドスキームを分離したトレーニングスキームは、不確実性性能を大幅に改善できることを示す。 他のベイズモデルとは対照的に、DUMが定義した事前定義が最終的な性能に強い影響を及ぼさないことを示す。
  論文  参考訳（メタデータ） (2023-03-10T09:00:52Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。