論文の概要: MassAlloc Attention: Let Attention Allocate Its Own Compute

• arxiv url: http://arxiv.org/abs/2609.32712v1
• Date: Sat, 26 Sep 2026 15:24:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 21:00:00.19016
• Title: MassAlloc Attention: Let Attention Allocate Its Own Compute
• Title（参考訳）: MassAllocのアテンション:アテンションが自分のコンピューティングをアロケートする
• Abstract要約: FullAttnは因果点空間の多くに無視可能な正規化質量を割り当てるが、密度の高いカーネルは各QKタイルを形成した後、完全なポストスコアパスを実行する。 我々は,すべての法的因果関係に対するスコアアクセスを保った注意プリミティブであるMALAを紹介する。 一般的な寛容さは、トレーニングと推論を統制し、作業の適応的保持を可能にする。
• 参考スコア（独自算出の注目度）: 9.132810979450886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: FullAttn often assigns negligible normalized mass to much of the causal score space, yet dense kernels execute the complete post-score path after forming each QK tile. We introduce MALA, a fused attention primitive that preserves score access to every legal causal interaction and uses normalized contribution to allocate post-score computation. Forward uses its evolving online-softmax normalizer, while backward reuses the finalized normalizer to derive nested retained support using only standard attention state. A common tolerance governs training and inference, allowing for adaptive retention of the work. MALA reduces low-contribution post-score computation. A matched-work study at 8K isolates the benefit of distribution-adaptive allocation: under exactly matched total post-score work, MALA approaches a per-instance reference-mass oracle, with mean omitted mass of 0.0188% versus 0.0182%. Across context lengths from 1K to 32K tokens, the same tolerance maintains low output and gradient errors relative to the reference. Across a broader controlled associative-recall comparison, MALA closely tracks FullAttn as context grows, reaching 89.67% accuracy at 8K compared with 89.97% for FullAttn. In an attention-operator benchmark at 128K tokens with tensor parallelism, MALA reduces forward and backward latency during training by 2.2x and 3.0x and decoding latency during inference by 1.6x relative to FullAttn. Across scaling-law training from 0.6B to 14B parameters, MALA closely tracks FullAttn in perplexity while reducing total training FLOPs. The resulting 14B models and 32B models from separate continued training achieve comparable knowledge, reasoning, and long-context retrieval scores to FullAttn. These results indicate that allocating post-score computation according to normalized attention contributions can retain the evaluated capabilities of FullAttn while reducing attention computation.
• Abstract（参考訳）: FullAttnはしばしば負の正規化質量を因果点空間の多くに割り当てるが、密度の高いカーネルは各QKタイルを形成した後、完全なポストスコアパスを実行する。 我々は、すべての法的因果的相互作用に対するスコアアクセスを保存し、正規化コントリビューションを使用して、ポストスコア計算を割り当てる、融合された注意プリミティブであるMALAを紹介する。 Forwardは進化するオンライン-ソフトマックス正規化器を使用し、後方では最終化正規化器を再利用し、標準の注意状態のみを使用してネストされた保持サポートを導出する。 一般的な寛容さは、トレーニングと推論を統制し、作業の適応的保持を可能にする。 MALAは低コントリビューションポストスコア計算を削減します。 8Kでの一致した研究は、分布適応的割り当ての利点を分離している:正確に一致した全スコアの作業の下で、MALAは、平均省略質量が0.0188%対0.0182%である、インスタンスごとの基準質量のオラクルにアプローチする。 コンテクストの長さは1Kから32Kのトークンで、同じトレランスは参照に対して低い出力と勾配の誤差を保持する。 より広範に制御されたアソシエイト・リコールの比較において、MALAは文脈が大きくなるにつれてFullAttnを密に追跡し、8Kでは89.67%、FullAttnでは89.97%に達した。 テンソル並列性を持つ128Kトークンのアテンション演算ベンチマークでは、MALAはトレーニング中の前方および後方遅延を2.2xと3.0xで削減し、FullAttnと比較して1.6倍の遅延をデコードする。 0.6Bから14Bパラメータのスケーリング法則トレーニング全体にわたって、MALAはFllAttnの難易度を密に追跡し、総トレーニングFLOPを削減した。 結果として得られた14Bモデルと32Bモデルは、別途のトレーニングにより、FullAttnに匹敵する知識、推論、長文検索スコアを得る。 これらの結果から,正規化された注目度に応じてスコア後の計算を割り当てることにより,注目度を減らしながらFullAttnの評価能力を維持できることが示唆された。

関連論文リスト

• CoWindow Attention: Full Causal Coverage Is a Collective Property [9.132810979450886]
  FullAttnはすべてのアテンションヘッドに完全な因果履歴を繰り返し公開する。 我々は、KVヘッドにまたがる因果履歴へのアクセスを分散する構造化された注意アーキテクチャであるCoWAを紹介する。
  論文  参考訳（メタデータ） (2026-09-26T15:09:07Z)
• Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
  LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。 最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。 本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
  論文  参考訳（メタデータ） (2026-09-02T10:30:05Z)
• SAKI: Score-Aware Low-Rank Key Indexing with Random-Matrix Noise Correction for KV Retrieval [4.894648561808929]
  キー再構成の品質よりも注意点を保存できる学習自由なKVキャッシュインデックスを開発した。 ランク32では、PCAの残るトップ64リコールエラーの13～30%を除去する。 1モデルあたりの注目度は68～99%向上し、より深い層で最大の増加率となる。
  論文  参考訳（メタデータ） (2026-08-04T06:59:29Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Beyond Inference-Only Deployment: Comparing Weight-Based Consolidation Against Cascading Compaction [1.6214121783846343]
  本研究は,1つのコンシューマ上でのLow-Rank Adaptation (LoRA)ファインチューニングにより,インタラクション知識をモデルウェイトに夜間に集約することを評価する。 10つの現実的なソフトウェア開発の会話の中で、カスケードのコンパクト化は36.8 +/-3.0%の知識を保持する。 LoRAは、相互作用知識を合成、合成、Low-Rank Adaptation (LoRA)ファインチューニングを通じてモデルウェイトに集約する。
  論文  参考訳（メタデータ） (2026-05-23T16:57:25Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Beyond Completion: Probing Cumulative State Tracking to Predict LLM Agent Performance [9.771590610969918]
  WMF-AM(Working Memory Fidelity-Active Manipulation)を紹介する。 その結果,20種類のオープンウェイトモデル (0.5B-35B, 13ファミリー) で10タスク・エージェント・バッテリを発売した。
  論文  参考訳（メタデータ） (2026-03-28T17:25:11Z)
• Relative Scaling Laws for LLMs [91.73497548097775]
  スケーリング法則は、追加のデータ、パラメータ、計算によって言語モデルがどのように改善されるかを記述する。 相対的なスケーリング法則を導入し、テスト分布間のパフォーマンスギャップをスケールで追跡する。 これらの結果は、スケーリングは全体的なパフォーマンスを改善するが、普遍的等化器ではないことを示している。
  論文  参考訳（メタデータ） (2025-10-28T16:55:22Z)
• Delta Attention: Fast and Accurate Sparse Attention Inference by Delta Correction [52.14200610448542]
  変圧器は二次的な複雑さを持ち、長いシーケンスに対して高い推論コストとレイテンシをもたらす。 本稿では、この分布シフトを修正するためのシンプルで斬新で効果的な手順を提案する。 1Mトークンのプリフィル処理では,Flash Attention 2の32倍の速度で,約98.5%の間隔を維持することができる。
  論文  参考訳（メタデータ） (2025-05-16T13:48:33Z)
• ParallelComp: Parallel Long-Context Compressor for Length Extrapolation [51.68913021512016]
  超長い文脈(テキスト長 >128K)の補間は、大きな言語モデル(LLM)にとって大きな課題である。 本研究では,メモリボトルネックを効果的に克服する並列長コンテキスト圧縮手法であるParallelCompを提案する。 チャンクスループットが1.76倍向上し、プリフィル段階では23.50倍の高速化を実現し、性能損失を無視できる。
  論文  参考訳（メタデータ） (2025-02-20T07:10:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。