論文の概要: Sparsity and Superposition in Mixture of Experts

• arxiv url: http://arxiv.org/abs/2510.23671v1
• Date: Sun, 26 Oct 2025 22:44:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:36.334896
• Title: Sparsity and Superposition in Mixture of Experts
• Title（参考訳）: 専門家の混ざり合いと重ね合わせ
• Authors: Marmik Chaudhari, Jeremi Nuer, Rome Thorstenson,
• Abstract要約: 我々は,MoEモデルを同一のレンズでメカニカルに説明できないことを示す。 特徴の疎さも特徴の重要さも相変わらずの相違の原因にはならない。 本稿では,負荷分散ではなく,単意味的特徴表現に基づく専門家専門化の新たな定義を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture of Experts (MoE) models have become central to scaling large language models, yet their mechanistic differences from dense networks remain poorly understood. Previous work has explored how dense models use \textit{superposition} to represent more features than dimensions, and how superposition is a function of feature sparsity and feature importance. MoE models cannot be explained mechanistically through the same lens. We find that neither feature sparsity nor feature importance cause discontinuous phase changes, and that network sparsity (the ratio of active to total experts) better characterizes MoEs. We develop new metrics for measuring superposition across experts. Our findings demonstrate that models with greater network sparsity exhibit greater \emph{monosemanticity}. We propose a new definition of expert specialization based on monosemantic feature representation rather than load balancing, showing that experts naturally organize around coherent feature combinations when initialized appropriately. These results suggest that network sparsity in MoEs may enable more interpretable models without sacrificing performance, challenging the common assumption that interpretability and capability are fundamentally at odds.
• Abstract（参考訳）: 混合専門家モデル(MoE)は大規模言語モデルのスケーリングの中心となっているが、密度の高いネットワークとの機械的差異はよく分かっていない。 従来の研究は、高密度モデルが次元よりも多くの特徴を表現するために \textit{superposition} をどのように利用するか、また、重ね合わせが特徴の空間性と特徴の重要性の関数であるかについて検討してきた。 MoEモデルは同一のレンズで機械的に説明できない。 特徴の疎さも特徴の重要度も相変わらず相変わらず,ネットワークの疎さ(能動と専門家の比率)がMoEをよりよく特徴付けることがわかった。 我々は,専門家間の重ね合わせを測定するための新しい指標を開発した。 以上の結果から,ネットワーク空間の幅が大きくなるモデルでは,emph{monosemanticity}が大きくなることが示唆された。 本稿では,負荷分散ではなく,単意味的特徴表現に基づく専門家専門化の新たな定義を提案する。 これらの結果から,MoEのネットワーク幅は性能を犠牲にすることなく,より解釈可能なモデルを可能にする可能性が示唆された。

関連論文リスト

• Training Matryoshka Mixture-of-Experts for Elastic Inference-Time Expert Utilization [60.309915093470416]
  Matryoshka MoE(M-MoE)は、エキスパートアンサンブルに直接粗い構造を注入するトレーニングフレームワークである。 私たちの作業は、大規模MOEモデルのより実用的で適応可能なデプロイメントの道を開くものです。
  論文  参考訳（メタデータ） (2025-09-30T16:56:44Z)
• Mixture of Experts Made Intrinsically Interpretable [34.36996159677674]
  我々は,emphintrinsically interpretableとして設計されたMixture-of-Experts (MoE)言語モデルである textbfMoE-X を提案する。 我々のアプローチは、言語モデルにおいて、スパースアクティベーションを持つより広いネットワークが解釈可能な要因を捉える傾向にあるという観察に動機づけられている。 MoE-X は GPT-2 よりもパープレキシティが良く、解釈性はスパースオートエンコーダ (SAE) ベースのアプローチを超えている。
  論文  参考訳（メタデータ） (2025-03-05T17:40:54Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
  本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。 DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
  論文  参考訳（メタデータ） (2024-05-24T05:46:04Z)
• On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
  決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。 我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。 本研究は,専門家の選択に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-02-05T12:31:18Z)
• On the Adversarial Robustness of Mixture of Experts [30.028035734576005]
  最近、ブベックとセルケは、パラメータの数でトレーニングデータに適合する関数のリプシッツ定数の低い境界を証明した。 これにより、より多くのパラメータを持つ関数が、必ずしも計算コストが高ければ、より堅牢性を持つ、という興味深い疑問が持ち上がります。 本稿では, モデルサイズをほぼ一定の計算コストでスケールアップすることのできる, スパース混合専門家モデル(MoEs)について検討する。
  論文  参考訳（メタデータ） (2022-10-19T02:24:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。