論文の概要: ATFlash: Per-RoPE-Wavelength Attention Windows for Compute/Memory-Efficient LLM Inference

• arxiv url: http://arxiv.org/abs/2608.02947v1
• Date: Mon, 03 Aug 2026 23:23:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.960482
• Title: ATFlash: Per-RoPE-Wavelength Attention Windows for Compute/Memory-Efficient LLM Inference
• Title（参考訳）: ATFlash: 計算/メモリ効率の良いLLM推論のための、RoPE当たりのアテンションWindows
• Abstract要約: 本稿では,RoPE間距離ウィンドウを提案する。 クエリー-キー内積項は波長比距離を超えている。 リリース済みのFlash-4プリフィルとFlashInferデコードに最小限の差分でポートします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The attention score with rotary position embeddings (RoPE) decomposes exactly into a sum over its 2D-rotation frequency pairs, and each pair's wavelength limits how far it can discriminate position. Aligned with this structure, we propose the per-RoPE-wavelength distance window: it prunes the query--key inner-product terms beyond a wavelength-proportional distance. Unlike a sliding window, every key remains reachable, at least through the low-frequency pairs. The reduction rate is input-independent, with a closed form logarithmic in the sequence length $N$, in contrast to dynamic-sparse methods like MInference. Such token-level selection is orthogonal to our frequency-level pruning. The window can therefore be applied on top of those methods. On Qwen2.5-0.5B and Llama-3.2-3B, the window prunes 37--48\% of the query--key inner-product terms within each model's native context length. Relative to full attention, the top-1 match rate stays at 96--98\% and the mean output-distribution KL at the $10^{-3}$-nat level on LongBench-v2 contexts. We examine absolute scores on long-context benchmarks such as RULER, OpenAI-MRCR, LongCodeQA, and $\infty$Bench: they are broadly preserved. We implement the window as a slice of the query--key contraction axis, leaving the online-softmax recurrences untouched, and port it with minimal diffs into the released FlashAttention-4 prefill and FlashInfer decode. On RTX PRO 6000 with Llama, both ports outpace stock with gains growing with context length, up to $1.29\times$ at 128K. End to end on Qwen2.5-7B-1M, with 57\% of the inner-product terms pruned, the speedup reaches $1.31\times$ at a 1M-token context.
• Abstract（参考訳）: 回転位置埋め込み(RoPE)によるアテンションスコアは、その2D回転周波数対の和に正確に分解され、各ペアの波長は位置を識別できる程度に制限される。 この構造と相似して、波長比距離を超える問合せ-鍵内積項を呈示する、RoPE間距離ウィンドウを提案する。 スライディングウィンドウとは異なり、全てのキーは少なくとも低周波ペアを通して到達可能である。 還元率は入力非依存であり、MInferenceのような動的スパース法とは対照的に、シーケンス長が$N$の閉形式対数である。 このようなトークンレベルの選択は、周波数レベルのプルーニングと直交する。 したがって、これらのメソッドの上にウィンドウを適用することができる。 Qwen2.5-0.5B と Llama-3.2-3B では、ウィンドウは各モデルのネイティブコンテキスト長内のクエリーキー内積項の37-48\%を誇示する。 フルアテンションとは対照的に、トップ-1のマッチレートは96--98\%であり、平均出力分配KLはロングベンチv2コンテキスト上の10^{-3}$-natレベルである。 本稿では,RULER,OpenAI-MRCR,LongCodeQA,$\infty$Benchなどの長文ベンチマークの絶対スコアについて検討する。 我々は、クエリキーの収縮軸のスライスとしてウィンドウを実装し、オンラインソフトマックスの再発を未修正のままにして、リリースしたFlashAttention-4プリフィルとFlashInferデコードに最小限の差分でポートします。 RTX PRO 6000 with Llamaでは、どちらのポートも128Kで1.29\times$まで上昇し、株価を上回っている。 Qwen2.5-7B-1Mで終了し、内積項の57\%が刈り取られ、スピードアップは1Mのコンテキストで1.31\times$に達する。

関連論文リスト

• ECHO: Early-layer Collaborative Hierarchical Orchestration with Bonus Logits in Speculative Decoding [60.34475274870224]
  ECHOは、LLM層間の機能的非対称性を利用する階層的なデュアルループフレームワークである。 インナーループ内では、アーリーレイヤのボーナスロジットは、最小限のコストで、高速で多段階のドラフトツリー探索を駆動する。 ECHOは平均的なトークンを著しく増加させ、2.4$times$2.9$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-09-15T14:21:33Z)
• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• Panache: One-Pass Motif Discovery at Every Window Length [0.0]
  我々は、z正規化PMPモチーフ発見のための最初のワンパスストリーミングアルゴリズムであるPanacheを紹介する。 連続するセルフジョイントを、ランタイムが直列の長さでほぼ直線である単一のスキャンに置き換える。 Panacheは1回のパスを2.9分で完了し、正確なモチーフを6.0分で出力する。
  論文  参考訳（メタデータ） (2026-07-20T02:06:40Z)
• Kernelized Linear Attention: Breaking the Capacity Wall with Symmetric Cones [4.847095054351615]
  リニアアテンションは一定時間繰り返しの推論を約束するが、連想的リコールによって著しく低下する。 Kernelized Linear Attention Activations (KATA)を紹介します。 ランク1の正の半定的な特徴が良好なキャパシティ-干渉トレードオフをもたらすことを示す。
  論文  参考訳（メタデータ） (2026-07-19T21:46:09Z)
• Spectral Retrieval: Multi-Scale Sinc Convolution over Token Embeddings for Localized Retrieval in LLM Multi-Agent Systems [0.0]
  Spectral Retrievalは、遅延相互作用インデックスからトーケン毎の埋め込みを再利用し、複数のスケールで正常化されたシンクカーネルと結合する。 位置とスケールに対する最大コサインは、いずれのエンドポイントよりも確実に情報的である。
  論文  参考訳（メタデータ） (2026-05-23T22:50:58Z)
• AAC: Admissible-by-Architecture Differentiable Landmark Compression for ALT [1.2891210250935148]
  AAC は ALT (A*, Landmarks, Triangle) のショートパスのための差別化可能なランドマーク選択モジュールである。 これは古典的な探索における圧縮時適応の伝統の最初の微分可能な例である。
  論文  参考訳（メタデータ） (2026-04-22T16:31:21Z)
• Scaling Attention via Feature Sparsity [50.64995497733461]
  超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。 本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。 GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
  論文  参考訳（メタデータ） (2026-03-17T08:41:50Z)
• Quantifying Memory Use in Reinforcement Learning with Temporal Range [51.98491034847041]
  時間的範囲(Temporal Range)は、時間的影響プロファイルとして、時間的ウィンドウから入力シーケンスへの複数のベクトル出力の1次感度を扱うモデルに依存しない計量である。 また、タスクレベルメモリのプロキシ読み出しとして、タスク上で訓練されたコンパクトなLong Expressive Memory(LEM)ポリシーについて、テンポラルレンジを報告する。
  論文  参考訳（メタデータ） (2025-12-05T22:58:09Z)
• ILRe: Intermediate Layer Retrieval for Context Compression in Causal Language Models [4.951427498576812]
  ILRe(Intermediate Layer Retrieval)と呼ばれる新しいコンテキスト圧縮パイプラインを導入する。 ILReは、チャンクされたプリフィルをその層にだけストリーミングすることでコンテキストをエンコードし、入力クエリと指定された層のフルキーキャッシュの間のアテンションスコアによってトークンをリコールする。 追加のポストトレーニングやオペレータ開発がなければ、ILReは100万ドルのトークン要求を30分以内で処理できる。
  論文  参考訳（メタデータ） (2025-08-25T10:59:02Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
  本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。 推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。 また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• PoSE: Efficient Context Window Extension of LLMs via Positional Skip-wise Training [91.99700930388998]
  固定されたコンテキストウィンドウを用いて長い入力をシミュレートする位置スキップ-wisEトレーニングを提案する。 PoSEはフル長の微調整に比べてメモリと時間オーバーヘッドを大幅に削減する。 2kのトレーニングコンテキストウィンドウを使用して,LLaMAモデルを128kトークンに拡張した。
  論文  参考訳（メタデータ） (2023-09-19T08:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。