論文の概要: Routing Absorption in Sparse Attention: Why Random Gates Are Hard to Beat

• arxiv url: http://arxiv.org/abs/2603.02227v1
• Date: Wed, 11 Feb 2026 15:06:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:08.091856
• Title: Routing Absorption in Sparse Attention: Why Random Gates Are Hard to Beat
• Title（参考訳）: ゆるやかな吸収:なぜランダムゲートが耐え難いのか
• Abstract要約: 疎い注意がエンドツーエンドにトレーニングされると、モデルのQ/K/V投影は、どんなマスクにも適応する。 微分可能なソフトゲーティングは、ゲートが学習されているかランダムであるかに関わらず、ほぼ同じ難易度に収束する。 専門家はどのルーターにも適応するが、注意は構造的により厳しい形を示すことを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can a transformer learn which attention entries matter during training? In principle, yes: attention distributions are highly concentrated, and a small gate network can identify the important entries post-hoc with near-perfect accuracy. In practice, barely. When sparse attention is trained end-to-end, the model's Q/K/V projections co-adapt to whatever mask is imposed, absorbing the routing signal until learned gates perform little better than frozen random gates. We call this routing absorption and present four independent lines of evidence for it in a controlled 31M-parameter transformer: (1) differentiable soft gating converges to nearly the same perplexity whether the gate is learned or random (48.73 +/- 0.60 vs. 49.83 +/- 0.04 over 3 seeds); (2) hard top-k gating receives exactly zero gradient through the mask; (3) a gate distilled onto co-adapted Q/K/V achieves high F1 against oracle masks but catastrophic perplexity when deployed (601.6 vs. 48.6 on mask-agnostic Q/K/V); and (4) stochastic mask randomization during training fails to prevent co-adaptation (78.2 ppl deployed dense vs. 37.3 baseline). We connect routing absorption to the same phenomenon in Mixture-of-Experts, where random routing matches learned routing because experts co-adapt to any router, but show that attention exhibits a structurally more severe form: shared Q/K/V parameters enable cross-layer compensation pathways absent in MoE, where experts are self-contained modules. The implication is that end-to-end sparse attention methods employing per-query token-level gating face absorption pressure proportional to the parameter asymmetry between the gate and the model, and that post-hoc approaches, which decouple representation learning from sparsification, sidestep this entirely.
• Abstract（参考訳）: トランスフォーマーは、トレーニング中にどの注意項目が重要かを学ぶことができるか? 原則として、注意分布は高度に集中しており、小さなゲートネットワークはポストホックの重要項目をほぼ完全精度で識別することができる。 実際には、ほとんど。 粗い注意をエンドツーエンドにトレーニングする場合、モデルのQ/K/Vプロジェクションは任意のマスクに適応し、学習ゲートが凍結したランダムゲートよりもほとんどパフォーマンスしないまでルーティング信号を吸収する。 制御された31Mパラメータ変換器において、この経路の吸収と4つの独立した証拠を提示する: (1) 可変なソフトゲーティングは、ゲートが学習されるかランダムであるか(48.73 +/- 0.60 vs. 49.83 +/- 0.04 over 3 seed)、(2) ハードトップキーゲーティングは、マスクを通して正確にゼロ勾配を受信し、(3) 共適応Q/K/Vに蒸留されたゲートは、オラクルマスクに対して高いF1を達成するが、デプロイ時に破滅的なパープレキシティ(601.6 vs. 48.6 on mask-agnostic Q/K/V)、(4) トレーニング中の確率的マスクランダム化は、コダプテーションの防止に失敗する(78.2 ppl vs 373)。 我々は,Mixture-of-Expertsにおいて,ランダムなルーティングがどのルータにも適応するため,ランダムなルーティングがルーティングを学習するのと同じ現象にルーティングの吸収を接続する。 その意味は、ゲートとモデルの間のパラメータ非対称性に比例した、キー単位のガッティング面吸収圧力を用いたエンドツーエンドのスパースアテンション法と、疎化から表現学習を分離するポストホックアプローチが、完全にその逆であるということである。

関連論文リスト

• SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
  推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。 既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。 明示的なWhat-whereインターフェースであるSeGDePを提示する。
  論文  参考訳（メタデータ） (2026-09-08T15:11:32Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• The Gate Always Closes: On Injecting Auxiliary Signals into Frozen Vision-Language Models [18.625239232550932]
  5つのインジェクション設計において、ゲートパラメータが信号の30-45%を名目で通過する場合でも、全てのゲート経路は動作が閉じる。 本稿では、この抑制現象を、画像由来の信号のキャプション不変性によって形式化された致命的な体制と、補助信号が損失を積極的に傷つける負の効用体制の2つに分類する。
  論文  参考訳（メタデータ） (2026-07-25T19:14:34Z)
• Privacy from Symmetry: Orthogonally Equivariant Transformers for LLM Inference [45.663066206650115]
  分割推論はしばしば非現実的であり、機密テキストの推論をサードパーティプロバイダにプッシュする。 我々は、軽量な正規化変更を通じて、正確に$mathrmO(d)$-equivariantであるトランスフォーマー変種であるConjFormerを紹介した。
  論文  参考訳（メタデータ） (2026-06-15T09:31:24Z)
• Chiaroscuro Attention: Spending Compute in the Dark [0.0]
  CHIAR-Formerは、各トークンを3つの演算子のいずれかにルーティングする4層ハイブリッドトランスである。 目的に設計されたDCT+Attention専用変種はWikiText-103上でVal PPL 36.54を達成する。
  論文  参考訳（メタデータ） (2026-06-06T20:38:42Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Posterior Augmented Flow Matching [64.1559809786948]
  後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2026-05-01T17:59:59Z)
• How Alignment Routes: Localizing, Scaling, and Controlling Policy Circuits in Language Models [0.0]
  本稿では,アライメント学習言語モデルにおけるポリシールーティング機構のローカライズを行う。 中間層アテンションゲートは検出された内容を読み出し、深いヘッドをトリガーし、信号が拒絶に向かって押し上げられる。
  論文  参考訳（メタデータ） (2026-04-06T03:20:37Z)
• When Does Content-Based Routing Work? Representation Requirements for Selective Attention in Hybrid Sequence Models [0.0]
  ハイブリッドリカレントアテンションアーキテクチャにおけるルーティングパラドックスを同定する。 コンテンツベースのルーティングは、ルーティングが避けるように設計されたペアワイズな計算を必要とすることを示す。
  論文  参考訳（メタデータ） (2026-03-22T01:04:57Z)
• Directional Routing in Transformers [0.0]
  指向性ルーティングは、共有ルータによって制御される各トランスフォーマーアテンションヘッド学習抑制方向を提供する軽量なメカニズムである。 結果の回路を機械的解釈可能性によってトレースする。 ルーティングは、ベースラインに対するパープレキシティを31～56%削減するが、下流の多重選択ベンチマークはまだこれらの利得を反映していない。
  論文  参考訳（メタデータ） (2026-03-16T07:28:22Z)
• Grassmannian Mixture-of-Experts: Concentration-Controlled Routing on Subspace Manifolds [6.908972852063454]
  Mixture-of-Expertsモデルは、エキスパートにトークンを割り当てるために学習ルータに依存しているが、標準的なソフトマックスゲーティングは、スパーシリティと利用のトレードオフを制御するための原則的なメカニズムを提供していない。 部分空間のグラスマン多様体上で動くルーティングフレームワークGrassmannian MoEを提案する。
  論文  参考訳（メタデータ） (2026-02-19T20:03:23Z)
• Multi-Head Attention as a Source of Catastrophic Forgetting in MoE Transformers [28.800065959523696]
  Mixture-of-Experts (MoE)アーキテクチャは、継続的学習に適していると考えられていることが多い。 本稿では,MH-MoEを提案する。このMH-MoEは,部分表現を頭部的にルーティングすることで,ルーティングの粒度を増大させ,合成衝突を低減する。
  論文  参考訳（メタデータ） (2026-02-13T03:59:09Z)
• What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
  GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。 各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
  論文  参考訳（メタデータ） (2025-10-13T16:31:50Z)
• A fidelity-driven approach to quantum circuit partitioning via weighted hypergraphs for noise-resilient computation [0.0]
  本稿では、量子回路を忠実度対応ハイパーグラフに変換する新しいフレームワークであるFidelipartを紹介する。 6-qubit/22-gate, 10-qubit/55-gate, 24-qubit/88-gateベンチマーク上で, BQSKitのQuick Partitionerに対するFidelipartの評価を行った。 結果、Fidelipartの優れた性能を示し、SWAPゲートの削減は77.3%から100%、カットキュービットの52.2%まで低下した。
  論文  参考訳（メタデータ） (2025-06-07T17:13:51Z)
• VSA: Faster Video Diffusion with Trainable Sparse Attention [38.37291040904089]
  ビデオ拡散トランス (DiTs) のスケーリングは、注意質量の大部分が少数の位置に集中しているにもかかわらず、2次元の注意によって制限される。 私たちはこの観察を、トレーニング可能なハードウェア効率の良いスパースアテンションであるVSAに変換し、Emphbothのトレーニングと推論の完全なアテンションを置き換える。
  論文  参考訳（メタデータ） (2025-05-19T17:30:13Z)
• SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
  ビジョントランスフォーマーは多くの計算タスクで素晴らしいパフォーマンスを達成した。 密度の高い接続は、より大きな膨張比をサポートするスパースブロック対角構造に置き換えることができることを示す。 また、トレーニング中に並列分岐として、軽量でパラメータフリーなチャネル共分散アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-12-01T08:22:34Z)
• Random quantum circuits anti-concentrate in log depth [118.18170052022323]
  本研究では,典型的な回路インスタンスにおける測定結果の分布に要するゲート数について検討する。 我々の反集中の定義は、予測衝突確率が分布が均一である場合よりも大きい定数因子に過ぎないということである。 ゲートが1D環上で最寄りである場合と、ゲートが長距離である場合の両方において、$O(n log(n))ゲートも十分であることを示す。
  論文  参考訳（メタデータ） (2020-11-24T18:44:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。