論文の概要: Understanding and Exploiting Diagonal Attention Sparsity in Autoregressive Image Generation

• arxiv url: http://arxiv.org/abs/2609.19702v1
• Date: Thu, 17 Sep 2026 04:54:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.11219
• Title: Understanding and Exploiting Diagonal Attention Sparsity in Autoregressive Image Generation
• Title（参考訳）: 自己回帰画像生成における対角的注意空間の理解と展開
• Abstract要約: 本稿では,自己回帰画像生成における注意間隔の体系的特徴について述べる。 対角的注意方向に沿ってKVエントリを選択的にスキップする対角的注意機構を提案する。 提案手法は,高密度推論に比べて最大3.1倍のスループットと1.19倍のレイテンシ向上を実現し,品質劣化は2%未満である。
• 参考スコア（独自算出の注目度）: 6.696764668805062
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Autoregressive image generation has emerged as a paradigm for multimodal AI systems due to its compatibility with transformer-based LLM serving infrastructures. However, generating thousands of visual tokens per request makes decoding increasingly bottlenecked by KV cache accesses during attention computation. Sparse attention is particularly attractive for this workload because many visual generation applications tolerate moderate quality degradation in exchange for improved performance and efficiency. While sparse attention has been extensively explored for text-based LLM inference, it remains unclear whether its sparsity assumptions generalize effectively to autoregressive image generation. We present the first systematic characterization of attention sparsity in autoregressive image generation across diverse workloads and representative open-source models. Our analysis reveals several distinguishing properties, including a pronounced prefill-decode asymmetry, strong attention concentration on prompt and local tokens, and a unique diagonal attention sparsity pattern arising from the spatial locality of visual tokens. Motivated by these observations, we propose a diagonal-aware sparse attention mechanism that selectively skips KV entries along the diagonal attention direction within a recent window. Implemented on top of a GPU-based serving system using FlexGen, FlashAttention-2, and custom kernels, our approach achieves up to 3.1x throughput and 1.19x latency improvements with less than 2% quality degradation compared to dense inference.
• Abstract（参考訳）: 自動回帰画像生成は、トランスフォーマーベースのLLMサービスインフラストラクチャとの互換性のため、マルチモーダルAIシステムのパラダイムとして登場した。 しかし、リクエスト毎に数千のビジュアルトークンを生成することで、注意計算中にKVキャッシュアクセスによってデコードがボトルネックになる。 多くの視覚生成アプリケーションは、性能と効率の向上と引き換えに、適度な品質劣化を許容するので、この作業には特に注意が向けられる。 テキストベースのLLM推論では,スパークアテンションが広く検討されているが,そのスパースネス仮定が自己回帰画像生成に効果的に一般化するかどうかは不明である。 本稿では,多種多様なワークロードおよび代表的なオープンソースモデルを対象とした自動回帰画像生成における注意空間のシステマティックな特徴について述べる。 分析の結果,プリフィル・デコード非対称性,プロンプトおよび局所トークンに対する強い注意集中,および視覚トークンの空間的局所性から生じる特異な対角的注意空間パターンなど,いくつかの特徴が明らかになった。 これらの観測により,直近の窓の対角的注意方向に沿ってKVエントリを選択的にスキップする対角的注意機構を提案する。 FlexGen、FlashAttention-2、カスタムカーネルを使ったGPUベースのサービスシステム上に実装され、高密度推論と比較して最大3.1倍のスループットと1.19倍のレイテンシ改善を実現した。

関連論文リスト

• Look Less, Reason More: Block-wise Attention Skipping for Efficient Multimodal LLMs [89.7106332677868]
  意味進化から空間的相互作用を分離する学習自由推論パラダイムであるVisual-Skipを提案する。 V-Skipは、ブロックワイドの空間性を達成するために、冗長な視覚的注意を効果的に回避し、様々なMLLM間で94.16%から100.31%のパフォーマンス維持を維持している。
  論文  参考訳（メタデータ） (2026-06-07T08:32:13Z)
• Q Cache: Visual Attention is Valuable in Less than Half of Decode Layers for Multimodal Large Language Model [21.206033754351786]
  マルチモーダル大言語モデル(MLLM)は、視覚トークンの拡散に起因する外乱推論コストに悩まされている。 既存のアプローチでは、トークンの最適化に重点を置いており、さまざまなトークンプルーニング技術を活用して、非極端なビジュアルトークンを排除している。 同様の注意パターンの層間共有を可能にする効果的な注意機構であるLazy Attentionを提案する。
  論文  参考訳（メタデータ） (2026-02-02T10:08:00Z)
• LINA: Linear Autoregressive Image Generative Models with Continuous Tokens [56.80443965097921]
  連続トークンを持つ自己回帰モデルは、特にテキスト・トゥ・イメージ(T2I)合成において、視覚生成に有望なパラダイムを形成する。 このフレームワーク内での計算効率のよい線形アテンションの設計法について検討する。 LINAは、線形注意に基づくシンプルで計算効率の良いT2Iモデルであり、ユーザ命令から高忠実度1024x1024画像を生成することができる。
  論文  参考訳（メタデータ） (2026-01-30T06:44:33Z)
• Autoregressive Image Generation with Linear Complexity: A Spatial-Aware Decay Perspective [47.87649021414188]
  本稿では,線形複雑性を伴う空間コンテキストに選択的に注目する自己回帰画像生成装置LASADGenを提案する。 ImageNetの実験では、LASADGenは最先端の画像生成性能と計算効率を達成する。
  論文  参考訳（メタデータ） (2025-07-02T12:27:06Z)
• PAROAttention: Pattern-Aware ReOrdering for Efficient Sparse and Quantized Attention in Visual Generation Models [14.14413223631804]
  視覚生成において、注意機構の二次的な複雑さは、高いメモリと計算コストをもたらす。 課題を軽減するための注意パターンを*再編成する。 視覚特徴抽出の局所的な集約性に着想を得て,新しい**Pattern-Aware token Re Ordering (PARO)*テクニックを設計する。
  論文  参考訳（メタデータ） (2025-06-19T06:25:02Z)
• Efficient LLaMA-3.2-Vision by Trimming Cross-attended Visual Features [24.33252753245426]
  我々は、相互注意マップにおけるスパースの性質を利用して、冗長な視覚的特徴を選択的に創り出す。 我々のモデルは、ベンチマークパリティを達成しながら、推論レイテンシとメモリ使用量を減らすことができる。
  論文  参考訳（メタデータ） (2025-04-01T09:10:32Z)
• Dynamic Token Reduction during Generation for Vision Language Models [11.376359442815986]
  視覚言語モデル(VLM)に適した動的プルーニング戦略を導入する。 提案手法は,注意分布に基づく刈り取り率の柔軟な調整を可能にする。 実験結果から,本手法は計算要求を低減させるだけでなく,応答の質も維持することが示された。
  論文  参考訳（メタデータ） (2025-01-24T03:20:37Z)
• LinFusion: 1 GPU, 1 Minute, 16K Image [71.44735417472043]
  我々は,広く普及している線形トークンミキサーの低ランク近似を導入する。 蒸留したLinFusionは,元のSDと同等以上の性能を示す。 SD-v1.5、SD-v2.1、SD-XLの実験は、LinFusionが良好なゼロショットクロスレゾリューション生成を可能にすることを示した。
  論文  参考訳（メタデータ） (2024-09-03T17:54:39Z)
• Unlocking Pixels for Reinforcement Learning via Implicit Attention [61.666538764049854]
  我々は最近,トランスフォーマーに非常に有効であることが示されている,新しい効率的なアテンションアルゴリズムを利用している。 これにより、注意に基づくコントローラは、より大きな視覚入力にスケールでき、より小さなパッチの使用が容易になります。 さらに,ソフトマックスの注目度をハイブリッドランダム特徴量で近似するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-08T17:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。