論文の概要: Fast and Exact Relative-Position Attention via Structure-Aware Kernels

• arxiv url: http://arxiv.org/abs/2611.01182v1
• Date: Sat, 31 Oct 2026 18:29:06 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:03:04.471079
• Title: Fast and Exact Relative-Position Attention via Structure-Aware Kernels
• Title（参考訳）: 構造認識カーネルによる高速かつ正確な相対ポジションアテンション
• Abstract要約: 相対配置アテンション機構は、コンテントポジションやバイアスポジションの項を追加することでアテンションスコアを変更する。 クエリやキーに直接、トーケン毎のローテーションによって位置をエンコードするRoPEとは異なり、相対配置条件はペア単位でオフセット依存の計算を必要とする。 本稿では,FlashAttention-style tiled calculationに付加的な相対配置項を組み込んだ,正確な注意アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 4.842918836091874
• License:
• Abstract: Relative-position attention mechanisms offer compelling alternatives to RoPE across various transformer architectures, delivering superior performance in domains such as audio. These mechanisms typically modify attention scores by adding content-position or bias-position terms. Unlike RoPE, which encodes position via per-token rotations directly on the queries and keys, relative-position terms generally require pairwise offset-dependent computation or lookups, complicating their integration into fused attention kernels and introducing severe memory, bandwidth, and compute overheads as sequences scale. To address this bottleneck, we propose an exact attention algorithm that incorporates additive relative-position terms into FlashAttention-style tiled computation. Our method (1) uses offset-aware tiling to avoid redundant indexing and memory accesses, (2) computes only the necessary key/query-relation products and reuses them across token pairs in both forward and backward passes, and (3) uses offset-based gradient sharding and aggregation, eliminating atomic contention. We provide a unified, efficient Triton implementation across diverse relative-position attention mechanisms and evaluate it against naive and specialized implementations. For 8K-token sequences, our method speeds up the forward (backward) pass by 1.8-6.4$\times$ (2.0-21$\times$) and reduces peak memory up to 2.9-128$\times$ (1.4-54$\times$) over the strongest baseline for each mechanism, enabling long-context end-to-end transcription that is 1.8$\times$ faster and uses 2.4$\times$ less memory. Our method thus provides a drop-in, hardware-efficient solution for scaling relative-position attention transformers.
• Abstract（参考訳）: 相対的なアテンションメカニズムは、様々なトランスフォーマーアーキテクチャにまたがるRoPEに代わる魅力的な代替手段を提供し、オーディオなどの領域で優れたパフォーマンスを提供する。 これらのメカニズムは典型的には、コンテンツポジションやバイアスポジションの項を追加することで注意スコアを変更する。 クエリやキーに直接、トーケン単位のローテーションで位置をエンコードするRoPEとは異なり、相対配置用語は一般的にペアワイズオフセット依存の計算やルックアップを必要とし、融合したアテンションカーネルへの統合を複雑にし、重大なメモリ、帯域幅、計算オーバーヘッドをシーケンススケールとして導入する。 このボトルネックに対処するために,FlashAttentionスタイルの階層計算に付加的な相対配置項を組み込んだ,正確な注意アルゴリズムを提案する。 提案手法は, 余分なインデックス付けやメモリアクセスを避けるためにオフセット認識型タイリングを用い, (2) 必要なキー/クエリ関連製品のみを計算し, トークンペア間を前後のパスで再利用し, (3) オフセットベース勾配シャーディングとアグリゲーションを用いて原子競合を除去する。 我々は,様々な相対配置の注意機構にまたがる統一的かつ効率的なトリトン実装を提供し,単純かつ専門的な実装に対して評価する。 8K-tokenシーケンスでは、フォワード(バック)パスを1.8-6.4$\times$ (2.0-21$\times$)でスピードアップし、ピークメモリを2.9-128$\times$ (1.4-54$\times$)に減らし、1.8$\times$より高速で2.4$\times$を使用する。 そこで本手法は,相対配置アテンショントランスをスケールするための,ドロップイン,ハードウェア効率のソリューションを提供する。

関連論文リスト

• Accelerating Unified Multimodal Models with Core-Expansion Routing and Unified Computation Scheduling [61.28599393707943]
  統一マルチモーダルモデルは、理解と生成を共同でサポートするが、トークン、レイヤ、生成タイムステップ間でかなりの冗長な計算を行う。 本稿では,タスク共有型コアスコアラと進行条件付き生成拡張を提案し,生成分解とクロスタスクコアアライメントを最適化した。 2つの代表的UMMアーキテクチャの実験では、両タスク間で一貫した品質改善が示され、98.03%の高密度な理解性能を維持し、エンドツーエンドの推論速度は1.93times$である。
  論文  参考訳（メタデータ） (2026-08-29T14:27:55Z)
• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• Adaptive Tokenisation Via Temporal Redundancy Masking And Latent Inpainting [18.71433885255431]
  適応的ビデオトークン化(Adaptive Video tokenisation)は、シーケンスの基盤となる視覚的複雑さに基づいて、トークンの予算を動的に割り当てる。 凍結連続ビデオトークンの潜伏空間は,直接利用可能な時間的冗長性を本質的に符号化していることを示す。 パラメータフリー適応トークン割り当て機構を導入し,時間-L1差分に対する固定しきい値を適用した。
  論文  参考訳（メタデータ） (2026-06-04T13:31:12Z)
• Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Permutation [84.00166854547241]
  拡散変換器(DiT)はビデオ生成に必須であるが,注意の2次複雑さにより遅延が著しく低下する。 SVG2は,識別精度を最大化し,無駄を最小化する学習自由フレームワークである。
  論文  参考訳（メタデータ） (2025-05-24T21:30:29Z)
• Bifurcated Attention: Accelerating Massively Parallel Decoding with Shared Prefixes in LLMs [39.16152482491236]
  Bifurcated attentionは、共有コンテキストバッチデコードシナリオにおける言語モデル推論を強化するために設計された手法である。 提案手法は,高バッチサイズおよび拡張コンテキスト長のレイテンシに寄与する重要な要因である冗長メモリIOコストの課題に対処する。
  論文  参考訳（メタデータ） (2024-03-13T16:30:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。