論文の概要: Does Role Specialization Matter for Explanation Faithfulness in Mixture-of-Experts?

• arxiv url: http://arxiv.org/abs/2606.29613v1
• Date: Sun, 28 Jun 2026 21:40:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.981985
• Title: Does Role Specialization Matter for Explanation Faithfulness in Mixture-of-Experts?
• Title（参考訳）: ミックス・オブ・エクスプロイトにおける説明の信条に役割特化は重要か?
• Abstract要約: 本研究は, 全体MoEアーキテクチャにおける構造的役割分解説明の忠実性について, 主に過小評価されている。 表現レベルのデコリレーション正則化を導入し、潜在空間における専門家間の類似性を明示的に低減する。 本実験は, 包括性, 充足性, および, 摂動曲線(AOPC)の要約によって測定されるように, この分離が一貫して説明の忠実性を改善することを示す。
• 参考スコア（独自算出の注目度）: 1.547003190749517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) architectures have recently been extended with role-based mechanisms for interpretability. This is typically done by assigning semantic roles to individual expert components, for example roles like synergy, redundancy, and uniqueness in multimodal settings. However, whether such structural role decomposition preserves explanation faithfulness of the overall architecture remains largely underexplored. We hypothesize that inter-expert representation overlap weakens effective role separation and degrades attribution-based faithfulness, even when semantic roles are explicitly defined. To address this limitation, we introduce representation-level decorrelation regularization to explicitly reduce inter-expert similarity in latent space. Using representation decorrelation objectives, we encourage clearer specialization among experts by minimizing representation overlap. Our experiments show that across multiple multimodal benchmarks, this separation consistently improves explanation faithfulness, as measured by comprehensiveness, sufficiency, and their Area Over the Perturbation Curve (AOPC) summaries, while preserving task performance. We further show that these improvements are not limited to role-based architectures such as Interpretable Multimodal Interaction-aware MoE (I2MoE). Similar trends are observed in a standard sparse MoE baseline, suggesting that representation-level separation may provide a more general mechanism for enhancing explanation faithfulness in MoE systems. Overall, our findings suggest that structural role decomposition alone may be insufficient to guarantee faithful explanations and that representation-level separation helps improve explanation faithfulness. To support reproducibility, the source code and supplementary material are publicly available at https://github.com/dut0817/FL-I2MoE_Decor.
• Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャは最近、解釈可能性のためのロールベースのメカニズムによって拡張されている。 これは典型的には、個々の専門家コンポーネントにセマンティックロールを割り当てることによって行われる。 しかし、そのような構造的役割の分解が全体のアーキテクチャの忠実さの説明を保っているかどうかは、いまだに未解明のままである。 我々は、専門家間表現の重複が効果的な役割分離を弱め、意味的役割が明確に定義されている場合でも、帰属に基づく忠実度を低下させると仮定する。 この制限に対処するため,表現レベルのデコリレーション正則化を導入し,潜在空間における専門家間の類似性を明示的に低減する。 表現のデコレーションの目的を用いて,表現の重複を最小化することで,専門家間のより明確な専門化を奨励する。 本実験は,複数のマルチモーダルベンチマークにおいて,タスク性能を保ちながら,包括性,充足性,およびAOPC(Area Over the Perturbation Curve)サマリーによって測定された説明忠実度を一貫して改善することを示した。 さらに、これらの改善は、Interpretable Multimodal Interaction-aware MoE (I2MoE)のようなロールベースのアーキテクチャに限らないことを示す。 同様の傾向は標準スパースMoEベースラインで観測されており、表現レベルの分離はMoEシステムにおける説明の忠実性を高めるためのより一般的なメカニズムを提供する可能性があることを示唆している。 全体として,構造的役割の分解だけでは忠実な説明を保証するには不十分である可能性が示唆され,表現レベルの分離が忠実さの向上に有効であることが示唆された。 再現性をサポートするため、ソースコードと補足資料はhttps://github.com/dut0817/FL-I2MoE_Decor.comで公開されている。

関連論文リスト

• CoRDE: Concept-Prior Routed Diffusion Experts for Structural Generalization in Robot Manipulation [13.845777652673767]
  CoRDE(Concept-prior Routed Diffusion Experts)は、構造誘導型変量蒸留フレームワークである。 CoRDEは凍結概念エンコーダから意味分布を抽出し、変動後責任を導出する。 優れたアクション品質と漸進的な学習効率を実現しつつ、堅牢でセマンティックに整合した専門家アロケーションを形成します。
  論文  参考訳（メタデータ） (2026-06-20T08:07:59Z)
• Mechanistic Insights into Functional Sparsity in Multimodal LLMs via CoRe Heads [48.341678148905466]
  MLLM(Multimodal Large Language Models)における深い構造的特性を明らかにするための詳細な解釈可能性の研究について述べる。 我々は、コンテキスト認識検索(CoRe)ヘッドと呼ばれる、高度に専門化されたアテンションヘッドのサブセットを特定し、特徴付ける。 本研究は,MLLMにおける機能的疎結合の構造原理を解明し,機械的解釈可能性の現在の理解を解明するものである。
  論文  参考訳（メタデータ） (2026-06-04T08:18:31Z)
• All Circuits Lead to Rome: Rethinking Functional Anisotropy in Circuit and Sheaf Discovery for LLMs [61.02007370456733]
  一つのタスクを複数の、構造的に異なる回路やシーブでサポートできることを示し、同時に忠実で、疎結合で、完全であることを示す。 分布回路仮説を提案し,高次元重ね合わせから自然に非一様で低オーバーラップ回路の説明が生じることを示す理論的解析を行った。
  論文  参考訳（メタデータ） (2026-05-12T19:21:23Z)
• Large Vision-Language Models Get Lost in Attention [51.851592109135716]
  本稿では,情報理論と幾何に基づく統合フレームワークを提案し,残差更新の幾何的およびエントロピー的性質を定量化する。 注意は再設定に焦点を当てたサブスペース言語演算子として機能し、FFNはセマンティックイノベーションを駆動するサブスペース言語演算子として機能します。
  論文  参考訳（メタデータ） (2026-05-07T04:45:52Z)
• Learning Invariant Modality Representation for Robust Multimodal Learning from a Causal Inference Perspective [6.3310165899037045]
  頑健なマルチモーダル学習のための因果的モダリティ不変表現(CmIR)学習フレームワークを提案する。 CmIRは学習した不変表現が、異なる環境におけるラベルとの安定した予測関係を維持することを保証している。 CmIRはアウト・オブ・ディストリビューションデータとノイズデータに優れ、その堅牢性と一般化性を確認する。
  論文  参考訳（メタデータ） (2026-04-20T16:16:36Z)
• Hierarchical Contrastive Learning for Multimodal Data [3.1788482285024107]
  階層的コントラスト学習(Hierarchical Contrastive Learning)は、グローバルに共有され、部分的に共有され、モダリティ固有の表現を学習するフレームワークである。 マルチモーダルな電子健康記録では、HCLはより情報的な表現をもたらし、常に予測性能を改善する。
  論文  参考訳（メタデータ） (2026-04-07T05:53:04Z)
• PLUME: Latent Reasoning Based Universal Multimodal Embedding [52.35354073629127]
  ユニバーサルマルチモーダル埋め込み(UME)は、異種入力を単一のモデルで共有検索空間にマッピングする。 最近のアプローチでは、埋め込みを抽出する前に明確なチェーン・オブ・シント(CoT)論理を生成することにより、UMEを改善している。 PLUMEは,言語化されたCoTを連続的潜伏状態の短時間の自己回帰ロールアウトに置き換えることで,UMEを進化させる潜在的推論フレームワークである。
  論文  参考訳（メタデータ） (2026-04-02T14:04:53Z)
• Quantifying Modality Contributions via Disentangling Multimodal Representations [0.0]
  マルチモーダルモデルにおけるモダリティコントリビューションの定量化は、既存のアプローチがコントリビューション自体の概念を強調しているため、依然として課題である。 内部埋め込みにおける予測情報をユニークで冗長でシナジスティックなコンポーネントに分解することで、モダリティの寄与を定量化する部分情報分解(PID)に基づくフレームワークを提案する。 これは、結果ベースのメトリクスよりも明確で解釈可能な洞察を提供する、マルチモーダルな振る舞いの原則的、表現レベルのビューを提供する。
  論文  参考訳（メタデータ） (2025-11-22T05:02:58Z)
• Beyond Benchmarks: Understanding Mixture-of-Experts Models through Internal Mechanisms [55.1784306456972]
  Mixture-of-Experts (MoE)アーキテクチャは、推論中にパラメータのサブセットだけをアクティベートすることで、効率とスケーラビリティを提供する、有望な方向性として登場した。 内部メトリックを用いて、ルーティング機構を明示的に取り入れ、専門家レベルの振る舞いを分析することで、MoEアーキテクチャのメカニズムを解明する。 その結果,(1)モデルの発展に伴ってニューロンの利用が減少し,より高度な一般化が期待できる,(2)ベンチマークのパフォーマンスが限られた信号のみを提供するダイナミックな軌道を示す,(3)複数の専門家の協力的貢献からタスク完了が生じる,(4)ニューロンレベルでの活性化パターンがデータ多様性のきめ細かいプロキシを提供する,といった結果が得られた。
  論文  参考訳（メタデータ） (2025-09-28T15:13:38Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。