論文の概要: A Persistent State for Auditable Mixture-of-Experts Routing

• arxiv url: http://arxiv.org/abs/2609.34634v1
• Date: Mon, 28 Sep 2026 08:51:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 11:46:39.635351
• Title: A Persistent State for Auditable Mixture-of-Experts Routing
• Title（参考訳）: 難聴者混在型ルーティングの持続状態
• Abstract要約: Mixture-of-Experts (MoE)モデルは、トークンを専門家のまばらなサブセットに繰り返しルーティングするが、従来のルータは、階層間の影響がどのように蓄積されるかのルーティング固有の記録を公開しない。 Scratchpad-Augmented Mixture-of-Experts (SA-MoE)を導入し、各ルータが専門家に提供されていない低次元の永続状態にアクセスできるようにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) models repeatedly route tokens to sparse subsets of experts, but conventional routers expose no routing-specific record of how cross-layer influences accumulate. We introduce Scratchpad-Augmented Mixture-of-Experts (SA-MoE), which gives each router access to a low-dimensional persistent state that is not provided to the experts. Learned layerwise writes update this state, and their realized post-update changes exactly decompose the state-mediated contribution to any later routing margin, forming a routing ledger. Across sparsely upcycled SmolLM2- and Gemma-based models and three independent training seeds per architecture, this pathway adds less than 1% analytical forward compute and is strongly used by trained routers: local removal of its router contribution changes the selected Top-2 expert set in 87.6% and 69.9% of decisions, respectively. Relative to a matched latest-write-only control, persistent accumulation increases long-horizon future-routing accessibility by 19.4 and 12.2 percentage points, with positive effects in every seed. More than 90% of absolute ledger contribution comes from non-recent writes in both families, and full-forward suppression of ledger-selected writes changes later routing and output distributions. The ledger is an exact provenance object for the persistent-state pathway, not a complete causal explanation of routing. Sensitivity-aware scores better predict full-forward intervention effects, and post-hoc methods recover related cross-layer attribution without architectural modification. SA-MoE instead makes one routing-specific computational history explicit and directly inspectable within the model's natural forward computation.
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、トークンを専門家のまばらなサブセットに繰り返しルーティングするが、従来のルータは、階層間の影響がどのように蓄積されるかのルーティング固有の記録を公開しない。 Scratchpad-Augmented Mixture-of-Experts (SA-MoE)を導入し、各ルータが専門家に提供されていない低次元の永続状態にアクセスできるようにする。 学習されたレイヤワイズがこの状態を更新し、実行後の変更によって、後続のルーティングマージンに対する状態経由のコントリビューションが完全に分解され、ルーティング台帳が形成される。 わずかにリサイクルされたSmolLM2とGemmaベースのモデルとアーキテクチャごとに3つの独立したトレーニングシードが組み込まれているため、このパスは1%未満の分析的なフォワード計算を追加し、訓練されたルータによって強く使用されている。 一致した最新の書き込みのみの制御と対照的に、持続的な蓄積は、すべての種子に正の効果を伴い、19.4と12.2のパーセンテージで、長期にわたる将来の引き抜きアクセシビリティを増大させる。 絶対的な台帳のコントリビューションの90%以上は、両ファミリーの非最新書き込みによるものであり、台帳選択による書き込みの完全なフォワード抑制は、後続のルーティングと出力の分散によってもたらされる。 台帳は永続状態経路の正確な証明対象であり、ルーティングの完全な因果的説明ではない。 感性アウェアスコアは、完全なフォワード介入効果をよりよく予測し、ポストホックメソッドは、アーキテクチャの変更なしに関連する層間属性を回復する。 SA-MoEは、1つのルーティング固有の計算履歴を明示的にし、モデルの自然な前方計算内で直接検査できる。

関連論文リスト

• HERO-MoE: Historical Expert Routing with Scale-Preserving Fusion [51.439927979778965]
  歴史的ルーティング先をMoEルータに注入するルーティングフレームワークであるHERO-MoE, Historical Expert ROuting with Scale-Preserving Fusionを提案する。 HERO-MoEはオリジナルのトークン条件のルーティングブランチを保存し、標準ディスパッチの前に残る履歴ルーティングのコントリビューションを追加する。 実験の結果、HERO-MoE は最終損失を 1.6393 から 1.6184 に減らし、ピークメモリと FLOP はそれぞれ 0.44% と 0.64% に増加した。
  論文  参考訳（メタデータ） (2026-09-26T12:55:50Z)
• LayerRoute: Adaptive Layer-Skipping with LoRA-Preserved Quality for Efficient LLM Inference [0.0]
  LayerRouteは適応トランス層スキッピングのためのパラメータ効率のよい手法である。 層間ハードゲートルーティングとジョイントLoRAファインチューニングを組み合わせる。 列車はA100で7分以下で運行され、オーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2026-09-12T03:30:59Z)
• Do Dynamic Routers Need Memory? HeRo: History-Aware Routing for Efficient LLM Inference [13.935681015472262]
  動的層ルーティングにより、個々のトークンのレイヤをスキップすることを学ぶことで、LLM(Large Language Models)の推論コストが削減される。 既存の方法は、各ルーティング決定を、現在の隠れ状態のみにのみ依存したローカル操作として扱う。 モデル深度を越えた明示的なルーティング状態を維持する動的ルーティングフレームワークであるHistory-Aware Routing(HeRo)を提案する。
  論文  参考訳（メタデータ） (2026-09-08T03:20:07Z)
• Evidence for Shared Routing Geometry and Dynamics in Sparse Mixture-of-Experts [0.0]
  層間のルーティング関連状態は、層固有の座標系によって隠蔽される共通の幾何学的構造を共有していることを示す。 一致したランク比較では、残差表現は層間で予測しやすく、一方、ルータ制御状態はモデルのエキスパート選択をより忠実に保存する。
  論文  参考訳（メタデータ） (2026-09-02T10:17:12Z)
• CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing [90.63350360476294]
  本稿ではCRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)を提案する。 ルーティング決定は、プロキシアテンションマップの構造から直接読み取ることができることを示す。 ソフトマックス後の質量崖を定式化し、厳密な累積被覆閾値が長い文脈でO(n)バックグラウンドノイズを蓄積することを理論的に示す。
  論文  参考訳（メタデータ） (2026-09-01T22:49:46Z)
• Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
  Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext) ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
  論文  参考訳（メタデータ） (2026-06-22T06:37:31Z)
• Adaptive Inverted-Index Routing for Granular Mixtures-of-Experts [49.09151538536423]
  Mixture-of-experts (MoE)モデルはトークンごとに専門家のサブセットだけを活性化することでスケーラブルなトランスフォーマーアーキテクチャを実現する。 最近の証拠は、より粒度の細かい専門家、すなわち、少数の大きな専門家ではなく、多くの小さな専門家によって、パフォーマンスが向上することを示している。 ベクトル量子化(VQ)に基づく逆インデックス型ルーティングアーキテクチャである MoE (AIR-MoE) の適応型逆インデックスルーティングを導入する。
  論文  参考訳（メタデータ） (2026-05-06T14:15:10Z)
• Self-Routing: Parameter-Free Expert Routing from Hidden States [14.018297453424454]
  Mixture-of-Experts (MoE)レイヤは、トークンごとに専門家の小さなサブセットをアクティベートすることで、モデルのキャパシティを向上する。 本稿では,トークン隠蔽状態の指定された部分空間を専門家のロジットとして直接使用するパラメータフリーなルーティング機構であるSelf-Routingを提案する。
  論文  参考訳（メタデータ） (2026-04-01T03:05:20Z)
• Task-Conditioned Routing Signatures in Sparse Mixture-of-Experts Transformers [0.0]
  与えられたプロンプトに対して、各レイヤにまたがる専門家アクティベーションパターンを要約したベクトル表現であるルーティングシグネチャを導入する。 同一タスクカテゴリからのプロンプトは、非常に類似したルーティングシグネチャを誘導する一方、異なるカテゴリからのプロンプトは、かなり類似度が低いことを示す。 ルーティングシグネチャのみに訓練されたロジスティック回帰は、4方向タスク分類において92.5%+/-6.1%のクロスバリデーション精度を達成する。
  論文  参考訳（メタデータ） (2026-03-11T12:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。