論文の概要: INTRA: Interleaved Non-contiguous Token spaRse Attention

• arxiv url: http://arxiv.org/abs/2610.34056v1
• Date: Sun, 25 Oct 2026 04:33:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.527327
• Title: INTRA: Interleaved Non-contiguous Token spaRse Attention
• Title（参考訳）: INTRA: インターリーブされた非連続型トークンスパラス注意
• Abstract要約: 本稿では,INTRA-Interleaved Non-contiguous Token spaRse Attentionを導入する。 A100では、INTRAは2K$ FLUX.1-devで1.53タイムのスピードアップを達成する。 注意のみのベンチマークでは、それぞれMoBAおよび密度制限されたNSAよりも8.4times$と10.4times$のスピードアップが示されている。
• 参考スコア（独自算出の注目度）: 8.079656935981193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers achieve strong performance across modalities but are bottlenecked by the quadratic cost of attention. Sparse attention can reduce this cost, but effective sparsity must preserve useful long-range communication and map well to GPU hardware. We introduce INTRA--Interleaved Non-contiguous Token spaRse Attention--a hardware-aware static sparse attention design based on a relay-communication view under Computational Query Set (CQS) constraints. Rather than directly covering all token-to-token interactions within each sparse layer, INTRA uses complementary sparse groups to provide short mediated communication paths across layers. Scatter forms relay groups that sample broadly across local neighborhoods, while Gather reconnects these groups in subsequent layers. Under a partition model, this structure guides CQS-compatible sparse patterns with global reachability. Our CQS-aware FlashAttention-style kernel computes structured indices at runtime, loads selected non-contiguous tokens, and packs them densely for computation. On an A100, INTRA achieves a $1.53\times$ speedup in $2K$ FLUX.1-dev generation, with better measured image quality than evaluated CLEAR configurations after LoRA self-distillation. On LLaMA-3.1-8B, it improves long-context prefill efficiency with strong teacher-forced retrieval performance under matched LoRA adaptation. Attention-only benchmarks further show up to $8.4\times$ and $10.4\times$ speedups over MoBA and density-constrained NSA, respectively.
• Abstract（参考訳）: トランスフォーマーは、モダリティ全体にわたって高いパフォーマンスを達成するが、注意の二次コストによってボトルネックとなる。 スパースアテンションはこのコストを削減できるが、有効間隔は有用な長距離通信を保持し、GPUハードウェアにうまく対応する必要がある。 InTRA-Interleaved Non-Contiguous Token spaRse Attention--Computational Query Set(CQS)制約下でのリレー通信ビューに基づくハードウェア対応静的スパースアテンション設計を提案する。 INTRAは、各スパース層内のトークン間通信を直接カバーするのではなく、相補的なスパースグループを使用して、層間の通信経路を短くする。 Scatterは局所的にサンプリングされたリレーグループを形成し、Gatherは後続の層でこれらのグループを再接続する。 分割モデルの下では、この構造はCQS互換のスパースパターンをグローバルなリーチビリティで導く。 CQSを意識したFlashAttentionスタイルのカーネルは、実行時に構造化インデックスを計算し、選択された非連続トークンをロードし、計算のために密にパッケージ化する。 A100では、INTRAは2K$ FLUX.1-devで1.53\times$のスピードアップを達成した。 LLaMA-3.1-8Bでは、LRA適応時の教師強化検索性能の強い長文プリフィル効率が向上する。 注意のみのベンチマークでは、それぞれ8.4\times$と10.4\times$のMoBAと密度制限されたNSAのスピードアップが示されている。

関連論文リスト

• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• PARCEL: Pool-Anchored Resampling with Conditioned Elastic Queries for Efficient Vision-Language Understanding [88.17174909130188]
  LVLM(Large Vision-Language Models)は、視覚的な入力を高密度なトークンシーケンスにマッピングし、推論に二次的な計算ボトルネックを与える。 特徴抽出の労力を動的に分配する視覚トークン化アーキテクチャであるPARCELを紹介する。 PARCELは、既存のマトリシカベースラインを「一度にトレーニングし、どこにでもデプロイする」パラダイムを保ちながら、視覚障害者の予算で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-28T15:57:31Z)
• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• Scaling Attention via Feature Sparsity [50.64995497733461]
  超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。 本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。 GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
  論文  参考訳（メタデータ） (2026-03-17T08:41:50Z)
• SOCKET: SOft Collison Kernel EsTimator for Sparse Attention [25.278711498381494]
  長期コンテキスト推論におけるスパシティの爆発は、大規模言語モデルのスケーリングの中心となる。 Locality-Sensitive Hashing (LSH) はスパシフィケーションプリミティブであり、確率的、類似性を認識したアグリゲーションに適合するハードバケットを置き換える。 SOCKETはSoft Collision EsTimatorで、ハードバケットのマッチを確率的、類似性を考慮したアグリゲーションに置き換える。
  論文  参考訳（メタデータ） (2026-02-06T00:41:44Z)
• HyLRA: Hybrid Layer Reuse Attention for Efficient Long-Context Inference [11.718567830546538]
  大規模言語モデルにおける長文推論は、注意の2次計算の複雑さによってボトルネックとなる。 bf HyLRAは階層ワイド・スパシティ・プロファイリングによって駆動される新しいフレームワークである。 その結果,HyLRAは推論のスループットを6%から46%向上し,同等の性能を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-01-31T15:36:17Z)
• DELTA: Dynamic Layer-Aware Token Attention for Efficient Long-Context Reasoning [6.468843780300177]
  モデル精度を犠牲にすることなく計算効率を向上する訓練不要なスパースアテンション機構である textbfDELTA を提案する。 この結果から,中間注意マップの選択的再利用は,より効率的な長文推論への頑健な道を提供することが示された。
  論文  参考訳（メタデータ） (2025-10-10T21:37:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。