論文の概要: What Gets Activated: Uncovering Domain and Driver Experts in MoE Language Models

• arxiv url: http://arxiv.org/abs/2601.10159v1
• Date: Thu, 15 Jan 2026 07:59:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-16 19:43:19.045142
• Title: What Gets Activated: Uncovering Domain and Driver Experts in MoE Language Models
• Title（参考訳）: アクティベートされるもの - MoE言語モデルにおけるドメインとドライバのエキスパートの発見
• Authors: Guimin Hu, Meng Li, Qiwei Peng, Lijie Hu, Boyan Xu, Ruichu Cai,
• Abstract要約: 3つのパブリックドメインにわたるMOEモデルのエキスパートアクティベーションについて検討する。 専門家の中には、明らかにドメインの好みを示す者もいれば、モデルのパフォーマンスに強い因果関係を持つ者もいる。
• 参考スコア（独自算出の注目度）: 37.94260740364005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most interpretability work focuses on layer- or neuron-level mechanisms in Transformers, leaving expert-level behavior in MoE LLMs underexplored. Motivated by functional specialization in the human brain, we analyze expert activation by distinguishing domain and driver experts. In this work, we study expert activation in MoE models across three public domains and address two key questions: (1) which experts are activated, and whether certain expert types exhibit consistent activation patterns; and (2) how tokens are associated with and trigger the activation of specific experts. To answer these questions, we introduce entropy-based and causal-effect metrics to assess whether an expert is strongly favored for a particular domain, and how strongly expert activation contributes causally to the model's output, thus identify domain and driver experts, respectively. Furthermore, we explore how individual tokens are associated with the activation of specific experts. Our analysis reveals that (1) Among the activated experts, some show clear domain preferences, while others exert strong causal influence on model performance, underscoring their decisive roles. (2) tokens occurring earlier in a sentence are more likely to trigger the driver experts, and (3) adjusting the weights of domain and driver experts leads to significant performance gains across all three models and domains. These findings shed light on the internal mechanisms of MoE models and enhance their interpretability.
• Abstract（参考訳）: ほとんどの解釈可能性の研究はトランスフォーマーの層レベルまたはニューロンレベルのメカニズムに焦点が当てられており、MOE LLMのエキスパートレベルの振る舞いは未解明のままである。 ヒト脳の機能的専門化により、私たちは、ドメインとドライバの専門家を区別することで、専門家の活性化を分析する。 本研究では,3つのパブリックドメインにわたるMOEモデルのエキスパートアクティベーションを調査し,(1)どの専門家がアクティベーションされているか,そして,特定の専門家タイプが一貫したアクティベーションパターンを示すかどうか,(2)トークンが特定の専門家のアクティベーションとどのように結びついているか,という2つの重要な疑問に対処する。 これらの疑問に答えるために、専門家が特定のドメインに強く好まれているかどうかを評価するために、エントロピーベースのメトリクスと因果効果メトリクスを導入し、モデルの出力にどの程度専門家のアクティベーションが因果関係に寄与するかを評価し、それぞれドメインとドライバの専門家を特定する。 さらに,個々のトークンが特定の専門家の活性化とどのように関連しているかを考察する。 分析の結果,(1)アクティベートした専門家の中には,ドメインの好みを明確に示す者もいれば,モデルのパフォーマンスに強い因果関係を持つ者もいることが明らかとなった。 2) 文の早い段階で発生するトークンは,ドライバの専門家をトリガーする傾向が高く,(3) ドメインとドライバの専門家の重みを調整することで,3つのモデルとドメイン間で大幅なパフォーマンス向上が達成される。 これらの結果は、MoEモデルの内部メカニズムに光を当て、その解釈可能性を高めた。

関連論文リスト

• Unveiling Super Experts in Mixture-of-Experts Large Language Models [5.36587814108884]
  わずかに活性化されたMixture-of-Experts(MoE)モデルは、大規模言語モデル(LLM)の学習能力を高めることを約束している。 本稿では,モデルの前方推論において,基礎となるメカニズムにおいて重要な役割を担っている専門家の別個のサブセットを初めて発見・調査する。 以上の結果から,MoE LLMはSEsに頼って注意シンクを誘導し,注意点の分布に欠かせないが,SEプルーニングによって著しく破壊されることが明らかとなった。
  論文  参考訳（メタデータ） (2025-07-31T06:35:33Z)
• Two Experts Are All You Need for Steering Thinking: Reinforcing Cognitive Effort in MoE Reasoning Models Without Additional Training [86.70255651945602]
  我々はReinforcecing Cognitive Experts(RICE)と呼ばれる新しい推論時ステアリング手法を導入する。 RICEは、追加のトレーニングや複雑化なしに推論のパフォーマンスを改善することを目的としている。 先行する MoE ベースの LRM を用いた経験的評価は、推論精度、認知効率、ドメイン間の一般化において顕著で一貫した改善を示す。
  論文  参考訳（メタデータ） (2025-05-20T17:59:16Z)
• Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations [48.890534958441016]
  本研究では,大規模MoEモデルにおける領域の特殊化と専門的冗長性について検討する。 本稿では,最も関係のある専門家のみを識別・保持するための簡易で効果的な刈取フレームワークであるEASY-EPを提案する。 DeepSeek-R1とDeepSeek-V3-0324の実験は、我々の手法が同じメモリ予算の下で同等の性能と2.99タイムのスループットを達成できることを示した。
  論文  参考訳（メタデータ） (2025-04-09T11:34:06Z)
• Autonomy-of-Experts Models [34.82103329222486]
  我々は,専門家が自己選択して入力を処理する,新しいMoEパラダイムを提案する。 AoEは、専門家がトークンを効果的に処理する能力を知っているという洞察に基づいている。 トップレベルの専門家だけがフォワードパスを進み、他の専門家は中止します。
  論文  参考訳（メタデータ） (2025-01-22T18:37:08Z)
• Unveiling and Consulting Core Experts in Retrieval-Augmented MoE-based LLMs [64.9693406713216]
  RAGシステムの有効性に寄与する内部メカニズムは未解明のままである。 実験の結果,複数のコアグループの専門家がRAG関連行動に主に関与していることが判明した。 本稿では,専門家の活性化を通じてRAGの効率性と有効性を高めるためのいくつかの戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-20T16:08:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。