論文の概要: Disentangling Causal Importance from Emergent Structure in Multi-Expert Orchestration

• arxiv url: http://arxiv.org/abs/2602.04291v1
• Date: Wed, 04 Feb 2026 07:41:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.425388
• Title: Disentangling Causal Importance from Emergent Structure in Multi-Expert Orchestration
• Title（参考訳）: マルチエキスパートオーケストレーションにおける創発的構造からの因果的重要性の遠ざかる
• Authors: Sudipto Ghosh, Sujoy Nath, Sunny Manchanda, Tanmoy Chakraborty,
• Abstract要約: Informは、オーケストレーションを明示的で分析可能な計算として扱う、解釈可能性分析である。 我々は,GSM8K,HumanEval,MMLUのオーケストレータを10名の指導訓練専門家の同種コンソーシアムを用いて評価した。 本研究では,経路の質量と相互作用トポロジによって捉えた関係的重要性と,勾配に基づく因果属性を用いて測定した内在的重要性の相違を明らかにする。
• 参考スコア（独自算出の注目度）: 16.543409874497733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-expert systems, where multiple Large Language Models (LLMs) collaborate to solve complex tasks, are increasingly adopted for high-performance reasoning and generation. However, the orchestration policies governing expert interaction and sequencing remain largely opaque. We introduce INFORM, an interpretability analysis that treats orchestration as an explicit, analyzable computation, enabling the decoupling of expert interaction structure, execution order, and causal attribution. We use INFORM to evaluate an orchestrator on GSM8K, HumanEval, and MMLU using a homogeneous consortium of ten instruction-tuned experts drawn from LLaMA-3.1 8B, Qwen-3 8B, and DeepSeek-R1 8B, with controlled decoding-temperature variation, and a secondary heterogeneous consortium spanning 1B-7B parameter models. Across tasks, routing dominance is a poor proxy for functional necessity. We reveal a divergence between relational importance, captured by routing mass and interaction topology, and intrinsic importance, measured via gradient-based causal attribution: frequently selected experts often act as interaction hubs with limited causal influence, while sparsely routed experts can be structurally critical. Orchestration behaviors emerge asynchronously, with expert centralization preceding stable routing confidence and expert ordering remaining non-deterministic. Targeted ablations show that masking intrinsically important experts induces disproportionate collapse in interaction structure compared to masking frequent peers, confirming that INFORM exposes causal and structural dependencies beyond accuracy metrics alone.
• Abstract（参考訳）: 複数の大規模言語モデル(LLM)が協調して複雑なタスクを解くマルチエキスパートシステムは、高性能な推論と生成にますます採用されている。 しかし、専門家のインタラクションとシークエンシングを統括するオーケストレーションポリシーは、いまだに不透明である。 Informは、オーケストレーションを明示的で分析可能な計算として扱い、専門家の相互作用構造、実行順序、因果属性の分離を可能にする。 我々は、GSM8K、HumanEval、MMLUのオーケストレータの評価に、LLaMA-3.1 8B、Qwen-3 8B、DeepSeek-R1 8Bから抽出された10の命令調整専門家の同種コンソーシアムと、1B-7Bパラメータモデルにまたがる二次異種コンソーシアムを用いて、INFORMを用いて行う。 タスク全体では、ルーティングの優位性は機能的な必要条件のプロキシとして不十分です。 我々は,経路質量と相互作用トポロジによって捉えた関係的重要性と,勾配に基づく因果属性によって測定された内在的重要性の相違を明らかにする。 オーケストレーションの動作は非同期に現れ、安定的なルーティングの信頼性の前に専門家が集中し、専門家が非決定論的に残るように注文する。 標的のアブリゲーションは、マスキングが本質的に重要な専門家が、頻繁なピアをマスキングするよりも、相互作用構造が不均等に崩壊することを示し、INFORMが精度測定以外の因果的および構造的依存関係を公開することを確認している。

関連論文リスト

• Transitive Expert Error and Routing Problems in Complex AI Systems [0.0]
  我々は、このトランジティブエキスパートエラー(TEE)を、Dunning-Krugerエフェクトと区別し、前提条件として専門知識を必要とする。 構造的類似性バイアスは、専門家が因果的アーキテクチャの違いを欠きながら、表面の過度な特徴を引き起こす。 本稿では,不一致検出によるマルチエキスパートアクティベーション(ルーターレベル),境界認識キャリブレーション(特殊レベル),カバレッジギャップ検出などの介入を提案する。
  論文  参考訳（メタデータ） (2026-01-07T21:53:06Z)
• The Illusion of Specialization: Unveiling the Domain-Invariant "Standing Committee" in Mixture-of-Experts Models [18.428606280260187]
  エキスパートモデルの混合は、スパースルーティングによってドメインの特殊化を実現すると広く仮定されている。 我々は,個別の専門家ではなく,専門家グループレベルでのルーティング行動を分析するフレームワークであるCOMMITTEEAUDITを紹介する。 私たちは、スタンドング委員会が、ドメイン、レイヤ、およびルーティング予算をまたいだルーティングマスの大部分を一貫して捉えていることに気付きました。
  論文  参考訳（メタデータ） (2026-01-06T21:29:45Z)
• High-order Interactions Modeling for Interpretable Multi-Agent Q-Learning [22.42637658125405]
  高次相互作用をモデル化するためのこれまでの努力は、強化爆発やブラックボックスネットワーク構造の不透明な性質によって妨げられている。 本稿では、任意の順序のエージェント相互作用を柔軟にキャプチャできる、Continued Fraction Q-Learning(QCoFr)と呼ばれる新しい値分解フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-23T05:08:32Z)
• One-Prompt Strikes Back: Sparse Mixture of Experts for Prompt-based Continual Learning [52.966712416640085]
  本稿では,タスク固有戦略と共有プロンプト戦略の両方の利点を統合する新しいフレームワークであるSMoPEを提案する。 SMoPEはタスク固有のプロンプトメソッドを一貫して上回り、最先端のアプローチと競合する性能を達成する。
  論文  参考訳（メタデータ） (2025-09-29T08:54:58Z)
• Rethinking Gating Mechanism in Sparse MoE: Handling Arbitrary Modality Inputs with Confidence-Guided Gate [18.379123927374042]
  本稿では,SMoE アーキテクチャに欠落するモダリティ問題に対処する 2 段階の命令モジュールを導入するための ConfSMoE を提案する。 我々の理論分析から着想を得たConfSMoEは、ソフトマックスルーティングスコアをタスク信頼スコアw.r.tグラウンド真理信号に分解することで、新しい専門家ゲーティング機構を提案する。
  論文  参考訳（メタデータ） (2025-05-26T05:18:55Z)
• Enhancing CTR Prediction with De-correlated Expert Networks [45.50697497028273]
  本稿では,専門的相関を最小化するクロスエキスパートデコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレー 我々はD-MoEがMulti-Embedding MoEベースラインと比較して1.19%のGross Merchandise Volume (GMV)リフトを達成することを示す。
  論文  参考訳（メタデータ） (2025-05-23T14:04:38Z)
• CoCoAFusE: Beyond Mixtures of Experts via Model Fusion [3.501882879116058]
  CoCoAFusEはMixtures of Experts(MoEs)の背景にある哲学に基づいている 我々の定式化は、専門家の分布の融合を考えることによって、古典的な専門家の混合を延長する。 この新しいアプローチは、数値的な例を動機付ける一連のスイートと、実際のデータのコレクションで広く紹介されている。
  論文  参考訳（メタデータ） (2025-05-02T08:35:04Z)
• Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
  機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。 MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。 標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
  論文  参考訳（メタデータ） (2025-03-05T06:11:24Z)
• Complexity Experts are Task-Discriminative Learners for Any Image Restoration [80.46313715427928]
  複雑性の専門家" - 様々な計算複雑性と受容的なフィールドを持つフレキシブルな専門家ブロックを紹介します。 この選好は、タスク固有の割り当てを効果的に推進し、適切な複雑さを持つ専門家にタスクを割り当てる。 提案したMoCE-IRモデルは最先端の手法より優れており、その効率性と実用性が確認されている。
  論文  参考訳（メタデータ） (2024-11-27T15:58:07Z)
• Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
  Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2024-03-26T05:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。