論文の概要: WorldAttention: An Efficient Attention Architecture for Interactive Video World Models

• arxiv url: http://arxiv.org/abs/2609.34606v1
• Date: Mon, 28 Sep 2026 08:37:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 11:59:27.432168
• Title: WorldAttention: An Efficient Attention Architecture for Interactive Video World Models
• Title（参考訳）: WorldAttention:インタラクティブなビデオワールドモデルのための効率的な注意アーキテクチャ
• Abstract要約: WorldAttentionはシステム指向のアテンションアーキテクチャであり、特別なアテンションカーネルと階層的なKVキャッシュ管理の共設計により高効率を実現する。 We show that WorldAttention is consistent over previous State-of-the-art Methods, achieve a subject consistency scores of 0.9472 on VBench-Long and 0.9668 on InterVBench。
• 参考スコア（独自算出の注目度）: 32.54800423040451
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Leveraging the paradigm of autoregressive diffusion, text-conditioned interactive video world models aim to simulate temporally coherent environments guided by textual instructions. While enabling low-latency, long-duration generation is pivotal for embodied AI and simulation-based planning, current frameworks primarily rely on sliding-window mechanisms to bound computational complexity. However, this approach inherently sacrifices historical context, undermining the long-range interactive capabilities. Conversely, maintaining a full-history cache remains computationally prohibitive and memory-intensive: the quadratic complexity of attention leads to excessive computational overhead, while the linear growth of the KV cache inevitably leads to GPU memory saturation. To overcome these limitations, we propose WorldAttention, a system-oriented attention architecture that achieves high efficiency through the co-design of specialized attention kernels and hierarchical KV cache management. First, we introduce Hybrid Sparse Attention (HSA), which integrates linear global attention supplemented with head-adaptive sparse attention. Additionally, we design a Hierarchical KV Cache (HKV) that organizes historical KV pairs into semantically indexed pages across multi-tier memory, enabling fine-grained retrieval and controlled GPU residency. These two designs are supported by tailored kernels to effectively translate their theoretical efficiency into real-world performance. Extensive experiments on VBench-Long and InterVBench demonstrate that WorldAttention consistently surpasses prior state-of-the-art methods, achieving subject consistency scores of 0.9472 on VBench-Long and 0.9668 on InterVBench, respectively.
• Abstract（参考訳）: 自己回帰拡散のパラダイムを活用して、テキスト条件付きインタラクティブなビデオワールドモデルは、テキストによる指示によって導かれる時間的コヒーレントな環境をシミュレートすることを目的としている。 組み込みAIやシミュレーションベースの計画において、低レイテンシの長期生成を可能にする一方で、現在のフレームワークは主に計算複雑性を束縛するスライディングウィンドウ機構に依存している。 しかし、このアプローチは本質的に歴史的文脈を犠牲にして、長距離対話能力を損なう。 逆に、フルヒストリーキャッシュの維持は計算的に禁止され、メモリ集約的なままであり、注意の二次的な複雑さは過剰な計算オーバーヘッドを引き起こす一方、KVキャッシュの線形成長は必然的にGPUメモリ飽和につながる。 これらの制約を克服するために,特定注目カーネルと階層型KVキャッシュ管理の協調設計により,高効率を実現するシステム指向アテンションアーキテクチャであるWorldAttentionを提案する。 まず,Hybrid Sparse Attention(HSA)を導入し,頭部適応型スパースアテンションを付加した線形グローバルアテンションを統合する。 さらに、階層型KVキャッシュ(HKV)を設計し、歴史的KVペアを多層メモリにまたがるセマンティックインデックス付きページに整理し、きめ細かい検索とGPU常駐制御を可能にする。 これらの2つの設計は、理論上の効率性を実世界の性能に効果的に変換するために、調整されたカーネルによって支援されている。 VBench-Long と InterVBench の広範囲にわたる実験により、WorldAttention は、VBench-Long では 0.9472 、InterVBench では 0.9668 という、最先端の手法を一貫して超えていることが示された。

関連論文リスト

• WorldPlay2: Extending Real-Time Interactive World Models in Control and Horizon [50.51149739261809]
  インタラクティブな世界モデルは、多目的制御にリアルタイムで応答し、長い水平一貫性を維持する必要がある。 圧縮メモリと安定蒸留の共設計と、分解されたハイブリッド制御インタフェースを結合した対話型世界モデルWorldPlay2を提案する。
  論文  参考訳（メタデータ） (2026-09-28T16:28:25Z)
• MemoryWAM: Efficient World Action Modeling with Persistent Memory [80.90899269062128]
  本稿では,効率的な永続メモリを持つ世界アクションモデルであるMemoryWAMを紹介する。 調整された注意機構は、詳細な短期コンテキストと圧縮された長期コンテキストの両方の検索を可能にする。 MemoryWAMは、シミュレーションと実世界の両方において、強力な視覚言語アクション(VLA)とWAMベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-06-18T17:59:51Z)
• AllMem: A Memory-centric Recipe for Efficient Long-context Modeling [32.025154452526856]
  大規模言語モデル(LLM)は、長時間のタスクにおいて重大なパフォーマンスボトルネックに直面する。 SWA(Sliding Window Attention)とTTT(Non-linear Test-Time Training)メモリネットワークを統合した,新規で効率的なハイブリッドアーキテクチャであるtextscAllMemを紹介する。
  論文  参考訳（メタデータ） (2026-02-14T09:04:28Z)
• Infinite-World: Scaling Interactive World Models to 1000-Frame Horizons via Pose-Free Hierarchical Memory [101.2076718776139]
  複雑な実環境において,1000フレーム以上のコヒーレントな視覚記憶を維持することのできる,堅牢な対話型世界モデルを提案する。 我々は,歴史的潜水剤を固定予算の幾何学的表現に蒸留するpose-free Memory (HPMC)を導入する。 また,連続動作を三状態論理に識別する不確実性認識型アクションラベルモジュールを提案する。
  論文  参考訳（メタデータ） (2026-02-02T17:52:56Z)
• RELIC: Interactive Video World Model with Long-Horizon Memory [74.81433479334821]
  真のインタラクティブな世界モデルは、リアルタイムの長距離ストリーミング、一貫した空間記憶、正確なユーザ制御を必要とする。 この3つの課題を完全に解決する統合フレームワークであるRELICを紹介します。 単一の画像とテキスト記述が与えられた後、RELICは任意のシーンをリアルタイムにメモリを意識した長期探索を可能にする。
  論文  参考訳（メタデータ） (2025-12-03T18:29:20Z)
• Make It Efficient: Dynamic Sparse Attention for Autoregressive Image Generation [8.624395048491275]
  適応動的スパース注意(adaptive Dynamic Sparse Attention, ADSA)と呼ばれる新しい学習自由コンテキスト最適化手法を提案する。 ADSAは、局所的なテクスチャの整合性を維持するのに欠かせない歴史的トークンと、グローバルなセマンティック・コヒーレンスを確保するのに欠かせないトークンを特定し、効率的に注意を合理化する。 また、ADSAに適した動的KV-cache更新機構を導入し、推論中のGPUメモリ消費量を約50%削減する。
  論文  参考訳（メタデータ） (2025-06-23T01:27:06Z)
• Long-Context State-Space Video World Models [66.28743632951218]
  本稿では、状態空間モデル(SSM)を活用して、計算効率を損なうことなく時間記憶を拡張する新しいアーキテクチャを提案する。 我々の設計の中心はブロックワイズSSMスキャン方式であり、時間記憶の拡張のために空間整合性を戦略的にトレードオフする。 メモリ迷路とMinecraftのデータセットの実験は、我々のアプローチが長距離メモリ保存のベースラインを超えたことを示している。
  論文  参考訳（メタデータ） (2025-05-26T16:12:41Z)
• AirCache: Activating Inter-modal Relevancy KV Cache Compression for Efficient Large Vision-Language Model Inference [11.73134417321505]
  本稿では,LVLM推論の高速化を目的とした新しいKVキャッシュ圧縮手法であるAirCacheを提案する。 本手法は,視覚的KVキャッシュの10%を保ちながら,フルキャッシュに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2025-03-31T11:13:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。