論文の概要: When Can Attention Heads Be Statically Defined?

• arxiv url: http://arxiv.org/abs/2609.34650v1
• Date: Mon, 28 Sep 2026 08:58:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 11:35:00.197154
• Title: When Can Attention Heads Be Statically Defined?
• Title（参考訳）: 注意の頭はいつ定義できるのか?
• Abstract要約: 注意パターンの再利用は、クエリキースコア計算やソフトマックスを回避することで、トレーニングコストを削減できる。 注意パターンの低い頭部を選択するSAF(Selective Attention Freezing)を同定する。 融合カーネルはパターンを再構築し、通常のアテンションを実行し、頭を取り替える。
• 参考スコア（独自算出の注目度）: 27.322488198642038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Some attention heads learn similar patterns across inputs. Reusing these patterns could reduce training cost by avoiding repeated query-key score computation and softmax. Through controlled pretraining comparisons, we identify Selective Attention Freezing (SAF), which selects heads with low attention-pattern variance and replaces their attention weights with fitted post-softmax means halfway through training. We represent these fixed patterns with absolute-position and relative-distance preferences, reducing storage from quadratic to linear in sequence length. A fused kernel reconstructs the patterns and executes ordinary-attention and replaced heads together. At matched training-token budgets, replacing 25% of attention heads gives 1.056x faster post-replacement optimiser updates at 124M parameters and 4K context, with a 0.77% perplexity increase. At 1B and 8K context, post-replacement updates are 1.068x faster on four GPUs including communication, with a 0.51% perplexity increase. The resulting models also accelerate long-input finetuning and causal prefill. After associative-recall adaptation, the 124M model with 25% replacement generalises to more key-value pairs at a fixed length better than ordinary attention and two pruning controls.
• Abstract（参考訳）: いくつかの注意深い頭脳は、入力間で同様のパターンを学ぶ。 これらのパターンを再利用することで、繰り返しクエリキースコア計算やソフトマックスを回避することで、トレーニングコストを削減できる。 学習前比較により,注意パターンの少ない頭部を選択し,注意重みをトレーニング中途半端に装着する選択注意凍結(SAF)を同定した。 絶対位置と相対距離の選好で固定されたパターンを表現し、列長の2次から線形の保存を減らした。 融合カーネルはパターンを再構築し、通常のアテンションを実行し、頭を取り替える。 一致したトレーニングの予算では、25%の注意を置き換えることで、114Mパラメータと4Kコンテキストでの更新後のオプティマイザ更新が1.056倍速くなり、複雑さは0.77%増加した。 1Bと8Kのコンテキストでは、通信を含む4つのGPU上で、更新後の更新は1.068倍速く、複雑さは0.51%増加した。 結果として得られるモデルは、ロングインプットの微調整と因果前処理を加速する。 アソシエーション・リコール適応の後、25%置換した124Mモデルは、通常の注意と2つのプルーニング制御よりも長い固定長のキー値対に一般化される。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• A.X K2 Technical Report [16.892621349469206]
  我々は、強調アプリケーションのための高性能基盤として、スクラッチから訓練された言語モデルであるA.X K2を紹介する。 A.X K2はA.X K1を30ポイント以上改善している。 A.X K2は強力なオープンウェイトベースラインに対して競争力があり、数学や韓国語のベンチマークでそれらをマッチングまたは超える。
  論文  参考訳（メタデータ） (2026-08-31T03:04:30Z)
• BF1: A Causal Dyadic Sparse-Attention Retrofit for Efficient Long-Context Transformers [0.0]
  本研究では,小面積の局所的近傍,大域的な第1ブロック,および対数的に空間化された歴史的ブロックを結合したブロックアライン・ダイアルド・スパース・アテンション経路について検討する。 最適化されたBF16の実装は、2Kトークンと4Kトークンの間で高い注意を払い、32Kで1層あたり10.91倍のプリフィルスピードアップに達する。 本稿では,数値的正当性,選択相互作用スケーリング,カーネル性能,部分モデル言語モデリング,および一致した次世代言語モデリングについて検討する。
  論文  参考訳（メタデータ） (2026-08-19T18:35:12Z)
• Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion [61.57938553036056]
  ARL2は、二次的なクロスフレームアテンションを固定サイズのリカレント状態に置き換えるハイブリッドアテンションモジュールである。 本研究では,フレーム内ソフトマックスブランチとフレーム間リカレント線形ブランチの2つに分割し,ストリームコンテキストの固定サイズ状態を維持する。 75%の層がハイブリッドリニアアテンションに置き換えられ、最大2.26ウォールクロックのスピードアップと54%のメモリ削減を実現した。
  論文  参考訳（メタデータ） (2026-05-15T19:33:45Z)
• Linearizing Vision Transformer with Test-Time Training [54.52616866374482]
  事前訓練されたトランスフォーマーからウェイトを継承することは、魅力的なショートカットを提供するが、ソフトマックスと線形アテンションの基本的な表現的ギャップは、効果的なウェイト転送を妨げている。 テスト時間トレーニング(TTT)は2層動的定式化がSoftmaxの注意と構造的に一致している線形複雑アーキテクチャである。 安定拡散3.5を線形化して、SD3.5-T$5$(Transformer to Test Time Training)を導入することで、我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2026-05-04T16:16:26Z)
• RAT+: Train Dense, Infer Sparse -- Recurrence Augmented Attention for Dilated Inference [13.471581610990187]
  RAT+は高密度な事前学習アーキテクチャであり,全シーケンスの繰り返しとアクティブな反復学習によって注意を増す。 100Bトークンでトレーニングされた1.5Bパラメータでは、RAT+は16の精度で密に一致し、コモンセンス推論とLongBenchタスクで64で約2-3ポイント低下する。
  論文  参考訳（メタデータ） (2026-02-20T13:09:49Z)
• BLASST: Dynamic BLocked Attention Sparsity via Softmax Thresholding [28.11907989174509]
  本稿では,事前計算やプロキシスコアを使わずに動的にアテンション行列をプルークする,ドロップインスパースアテンション手法であるBLASSTを紹介する。 本手法では,オンラインソフトマックスからの既定しきい値と既存の情報を用いて,無視可能な注意点の同定を行う。 最適しきい値と文脈長の逆関係を明らかにする自動校正法を開発した。
  論文  参考訳（メタデータ） (2025-12-12T23:30:43Z)
• Delta Attention: Fast and Accurate Sparse Attention Inference by Delta Correction [52.14200610448542]
  変圧器は二次的な複雑さを持ち、長いシーケンスに対して高い推論コストとレイテンシをもたらす。 本稿では、この分布シフトを修正するためのシンプルで斬新で効果的な手順を提案する。 1Mトークンのプリフィル処理では,Flash Attention 2の32倍の速度で,約98.5%の間隔を維持することができる。
  論文  参考訳（メタデータ） (2025-05-16T13:48:33Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• Selective Attention Improves Transformer [8.205283788779333]
  選択的注意(Selective Attention)は、必要のない要素への注意を減らすための、標準の注意機構に対する単純なパラメータフリーな変更である。 Selective attentionは、さまざまなモデルサイズとコンテキスト長において、言語モデリングとダウンストリームタスクのパフォーマンスを一貫して改善する。 例えば、C4上の言語モデリングの目的を選択的に訓練したトランスフォーマーは、アテンションモジュールに2倍のヘッダとパラメータを持つ標準トランスフォーマーと同等の言語モデリングを行う。
  論文  参考訳（メタデータ） (2024-10-03T17:27:30Z)
• Simple linear attention language models balance the recall-throughput tradeoff [60.06020449520365]
  線形およびすべり窓の注意を結合したシンプルなアーキテクチャであるBASEDを提案する。 我々は、最大1.3bパラメータの言語モデルをトレーニングし、BASEDがパープレキシティにおいて最強のサブクワッドラティックモデルと一致し、実世界のリコール集約タスクにおいて6.22の精度ポイントでそれらのモデルを上回っていることを示す。
  論文  参考訳（メタデータ） (2024-02-28T19:28:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。