論文の概要: SAE Interprets MoE: Sparse AutoEncoders Reveal That MoE Experts Exhibit Human-Interpretable Fine-Grained Specialization

• arxiv url: http://arxiv.org/abs/2611.08089v1
• Date: Thu, 05 Nov 2026 14:35:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.540313
• Title: SAE Interprets MoE: Sparse AutoEncoders Reveal That MoE Experts Exhibit Human-Interpretable Fine-Grained Specialization
• Title（参考訳）: SAEがMoEを解釈:MOEの専門家が人間に解釈可能なファイングラデーションの専門化を禁止した、スパースオートエンコーダ
• Abstract要約: Mixture-of-Experts (MoE)モデルは、トークンを数人の専門家にルートするが、個々の専門家が責任を負うものは未解決のままである。 代わりに、MoE層の出力に基づいてスパースオートエンコーダ(SAE)を訓練することで特徴空間の特殊化を研究する。
• 参考スコア（独自算出の注目度）: 11.445409489034114
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Mixture-of-Experts (MoE) models route each token to a few of many experts, yet what an individual expert is responsible for remains unsettled. Existing analyses count how often an expert is selected on domain-labeled corpora, an instrument that fixes the taxonomy in advance, stays coarse, and records selection rather than contribution. We instead study specialization in feature space by training a sparse autoencoder (SAE) on the output of an MoE layer. Since this output is a router-weighted sum of expert outputs and the SAE encoder is affine, the pre-activation of every latent decomposes exactly over the experts. Aggregated over a corpus, this gives each expert a dominant set of latents whose activation it principally drives. On layers 4, 30 and 46 of Qwen3-30B-A3B, contribution is far more concentrated than gating, most latents have only one or two dominators, and the overlap between dominant sets concentrates on a few expert pairs. Auto-interpreting these sets reveals a division of labor below coarse domains, with distinct experts for Java and front-end web code, or for geometry and for arithmetic and polynomials, while the coarse domains themselves take very unequal numbers of experts. Our SAEs and code are available at https://github.com/Bytedance-Seed/SAE-Interprets-MoE.
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、トークンを数人の専門家にルートするが、個々の専門家が責任を負うものは未解決のままである。 既存の分析では、前もって分類を修正し、粗いままで、貢献よりも選択を記録できる、ドメインラベルコーパスで専門家が選択される頻度を数えている。 代わりに、MoE層の出力に基づいてスパースオートエンコーダ(SAE)を訓練することで特徴空間の特殊化を研究する。 この出力はエキスパート出力のルータ重み付き和であり、SAEエンコーダはアフィンであるので、潜伏者のプレアクティベーションは専門家に対して正確に分解される。 コーパスに集合すると、それぞれの専門家は、主に活性化するラテントの支配的な集合を与える。 Qwen3-30B-A3Bの層4,30および46では、寄与はゲーティングよりもはるかに集中しており、ほとんどの潜伏剤は1つまたは2つのドミネーターしか持たず、支配的な集合間の重なり合いはいくつかの専門家対に集中している。 これらの集合を自動解釈することで、JavaとフロントエンドのWebコード、幾何学と算術と多項式の異なる専門家による粗いドメイン以下の作業の分断が明らかになる。 SAEとコードはhttps://github.com/Bytedance-Seed/SAE-Interprets-MoEで公開しています。

関連論文リスト

• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• EMO: Pretraining Mixture of Experts for Emergent Modularity [23.516967735771555]
  大規模な言語モデルは一般的にモノリシックなシステムとしてデプロイされる。 MoEは、入力毎に専門家のサブセットだけを活性化することで潜在的な代替手段を提供するが、実際には、特定のドメインの専門家のサブセットに対する推論を制限することで、パフォーマンスが大幅に低下する。 EMOはモジュール性 - 専門家のサブセットの独立した使用と構成 - 人間が定義した事前定義を必要とせずに - のために設計されたMoEである。
  論文  参考訳（メタデータ） (2026-05-07T17:59:20Z)
• MoE Lens -- An Expert Is All You Need [0.09444932939944471]
  エキスパートの混合(MoE)モデルは、スパース専門家のアクティベーションを通じてパラメータ効率のスケーリングを可能にする。 本稿では,2つの相補的アプローチを用いて,MoEsの専門家専門化の体系的分析を行う。
  論文  参考訳（メタデータ） (2026-03-06T01:35:28Z)
• Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
  スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。 SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。 近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。 本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
  論文  参考訳（メタデータ） (2025-11-07T22:19:34Z)
• Dropping Experts, Recombining Neurons: Retraining-Free Pruning for Sparse Mixture-of-Experts LLMs [54.95810313530111]
  DERNは、専門家のプルーニングと再構築のためのタスク非依存でトレーニングなしのフレームワークである。 コモンセンス推論やMMLUベンチマークでは、50%のエキスパートスパシティでパフォーマンスを5%以上向上させる。
  論文  参考訳（メタデータ） (2025-09-12T16:09:39Z)
• Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations [48.890534958441016]
  本研究では,大規模MoEモデルにおける領域の特殊化と専門的冗長性について検討する。 本稿では,最も関係のある専門家のみを識別・保持するための簡易で効果的な刈取フレームワークであるEASY-EPを提案する。 DeepSeek-R1とDeepSeek-V3-0324の実験は、我々の手法が同じメモリ予算の下で同等の性能と2.99タイムのスループットを達成できることを示した。
  論文  参考訳（メタデータ） (2025-04-09T11:34:06Z)
• Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
  Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2024-03-26T05:48:02Z)
• Sparsely-gated Mixture-of-Expert Layers for CNN Interpretability [3.021134753248103]
  小さいゲートのMixture of Expert (MoE)層が大きなトランスのスケーリングに成功している。 本研究では,コンピュータビジョンタスクのCNNに対して,スパースMOE層を適用し,モデル解釈性への影響を解析する。
  論文  参考訳（メタデータ） (2022-04-22T09:40:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。