論文の概要: Geometric Routing Enables Causal Expert Control in Mixture of Experts

• arxiv url: http://arxiv.org/abs/2604.14434v1
• Date: Wed, 15 Apr 2026 21:24:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.619329
• Title: Geometric Routing Enables Causal Expert Control in Mixture of Experts
• Title（参考訳）: 幾何学的ルーティングは、専門家の混在に因果的専門家の制御を可能にする
• Authors: Ivan Ternovtsii, Yurii Bilak,
• Abstract要約: 専門家のアイデンティティは因果的に意味があることを示します。 15%のエキスパートは10のカテゴリにまたがる単統的なスペシャリストである。 エキスパートレベルの特殊化は、第一級の解釈可能性プリミティブである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse Mixture-of-Experts (MoE) models scale parameters while fixing active computation per token, but the specialization of individual experts remains opaque. In a companion paper we showed that routing topology is quality-neutral: five structurally different configurations converge to statistically equivalent language modeling quality. Here we show that expert identity is nonetheless causally meaningful: individual rank-1 experts are monosemantic by construction, and cosine-similarity routing in a low-dimensional metric space makes their specialization directly inspectable. We present four lines of evidence. First, projecting expert output vectors through the unembedding matrix yields a Semantic Dictionary: 15% of experts are monosemantic specialists spanning 10 categories (temporal, geographic, cardinal, discourse, emotional, financial, military, scientific). Second, routing exhibits a frequency-to-syntax gradient: early layers separate tokens by word frequency, deeper layers by syntactic class (Zipf-confound controls, all $p < 0.001$). Third, causal interventions confirm these labels: steering toward a temporal expert's centroid increases P(temporal) by +321% (median across 44 prompts); suppressing a geographic expert drops P(geographic) by -23%; rewriting an expert's output vector halves target-category probability, and effects compose additively across layers. Fourth, the interventions are not unique to cosine routing: linear routers support comparable steering, but only cosine routing provides geometric transparency -- expert specialization is readable directly from the centroid matrix. MoE expert-level specialization is a first-class interpretability primitive: architecturally monosemantic, causally validated, and controllable at inference with zero overhead.
• Abstract（参考訳）: Sparse Mixture-of-Experts (MoE) はトークン単位のアクティブな計算を修正しながらパラメータをスケールするが、個々の専門家の専門化はいまだに不透明である。 構造的に異なる5つの構成は、統計的に等価な言語モデリングの品質に収束する。 ここでは、専門家のアイデンティティは因果的に意味があることを示し、個々のランク1の専門家は、構成によって一様であり、低次元距離空間におけるコサイン類似性ルーティングは、それらの特殊化を直接検査できるようにする。 証拠は4行ある。 15%のエキスパートは10のカテゴリ(時間的、地理的、枢軸的、言説的、感情的、財政的、軍事的、科学的)にまたがる単調なスペシャリストである。 第二に、ルーティングは周波数とシンタクスの勾配を示す: 初期層は単語の頻度でトークンを分離し、より深い層は構文クラスで分離する(Zipf-confound Control, all $p < 0.001$)。 第3に、因果的介入はこれらのラベルを裏付ける: 時間的専門家のセントロイドへの操縦は、+321%(44のプロンプトで中間)増加し、地理的専門家がP(地理)を23%減少させ、専門家の出力ベクトルはターゲットカテゴリーの確率を半減させ、効果は層間で加法的に構成する。 線形ルータは同等のステアリングをサポートするが、コサインルーティングだけが幾何学的透明性を提供する。 MoEの専門家レベルの特殊化は、第一級の解釈可能性プリミティブである。

関連論文リスト

• The Myth of Expert Specialization in MoEs: Why Routing Reflects Geometry, Not Necessarily Domain Expertise [13.748089632196182]
  MoEルータは線形写像であるため、隠れ状態の類似性も必要であり、専門家の使い方の類似性を説明するのに十分である。 また、負荷分散損失は、ルーティングの多様性を維持するために共有された隠れ状態の方向を抑制することも証明した。 このクリーンなメカニスティックな説明にもかかわらず、事前訓練されたMoEの特殊化パターンは人間の解釈に抵抗する。
  論文  参考訳（メタデータ） (2026-04-10T18:04:28Z)
• The Expert Strikes Back: Interpreting Mixture-of-Experts Language Models at Expert Level [9.716523835964045]
  Mixture-of-Experts (MoE) が大規模言語モデル(LLM)のスケーリングの主要な選択肢となっている。 我々は、$k$sparse Probingを用いて、MoEの専門家と高密度フィードフォワードネットワークを比較した。 専門家ニューロンは、ルーティングがスペーサーになるにつれてギャップが広くなるため、連続的にポリセマンティックではないことが分かりました。
  論文  参考訳（メタデータ） (2026-04-02T15:41:24Z)
• MoE Lens -- An Expert Is All You Need [0.09444932939944471]
  エキスパートの混合(MoE)モデルは、スパース専門家のアクティベーションを通じてパラメータ効率のスケーリングを可能にする。 本稿では,2つの相補的アプローチを用いて,MoEsの専門家専門化の体系的分析を行う。
  論文  参考訳（メタデータ） (2026-03-06T01:35:28Z)
• Scalable Heterogeneous Graph Learning via Heterogeneous-aware Orthogonal Prototype Experts [31.303203640348553]
  不均一グラフニューラルネットワーク(HGNN)は主により良いエンコーダによって進歩しているが、その復号/投射段階は依然として1つの共有線形ヘッドに依存している。 私たちはこれをリニア・プロジェクション・ボトルネック(Linear Projection Bottleneck)と呼んでいます。 本稿では,標準予測ヘッドのプラグ・アンド・プレイ代替であるHOPEという,異種対応のOrthogonal Prototype Expertsフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-09T05:23:59Z)
• Spectral Archaeology: The Causal Topology of Model Evolution [0.0]
  振る舞いベンチマークは、モデルが何をするかをTextithowに教えてくれますが、textithowではありません。 本研究では,アテンショングラフスペクトルを用いた無トレーニングメカニスティックプローブを提案する。 12のモデルと10の言語にまたがって、標準評価で欠落した不連続を露呈する「安定な指紋」が得られる。
  論文  参考訳（メタデータ） (2026-01-06T21:26:54Z)
• Token-Level Prompt Mixture with Parameter-Free Routing for Federated Domain Generalization [51.562474873972086]
  Federated Domain Generalization (FedDG)は、異種データを持つ分散クライアントからグローバルに一般化可能なモデルを学ぶことを目的としている。 近年の研究では、単一のグローバルなプロンプトを学習することで、FedDGの視覚言語モデル(VLM)を適応させる素早い学習が導入されている。 本稿では,FedDGのためのパラメータフリールーティングフレームワークであるTRIPを提案する。
  論文  参考訳（メタデータ） (2025-04-29T11:06:03Z)
• Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations [48.890534958441016]
  本研究では,大規模MoEモデルにおける領域の特殊化と専門的冗長性について検討する。 本稿では,最も関係のある専門家のみを識別・保持するための簡易で効果的な刈取フレームワークであるEASY-EPを提案する。 DeepSeek-R1とDeepSeek-V3-0324の実験は、我々の手法が同じメモリ予算の下で同等の性能と2.99タイムのスループットを達成できることを示した。
  論文  参考訳（メタデータ） (2025-04-09T11:34:06Z)
• Merge, Then Compress: Demystify Efficient SMoE with Hints from Its Routing Policy [84.11508381847929]
  わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。 ルーティング統計を利用したM-SMoEを提案する。 我々のMC-SMoEは最大80%のメモリと20%のFLOPを削減でき、性能は実質的に損なわれない。
  論文  参考訳（メタデータ） (2023-10-02T16:51:32Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• On the Representation Collapse of Sparse Mixture of Experts [102.83396489230375]
  専門家のまばらな混合は、一定の計算オーバーヘッドを必要としながら、より大きなモデルキャパシティを提供する。 入力トークンを隠された表現に従ってベストマッチした専門家に分散するためにルーティング機構を使用する。 しかし、そのようなルーティングメカニズムを学ぶことで、専門家のセントロイドを中心にトークンのクラスタリングが促進され、表現の崩壊の傾向が示唆される。
  論文  参考訳（メタデータ） (2022-04-20T01:40:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。