論文の概要: HLA-WM: Hybrid Linear Attention for Long-Horizon Video World Models

• arxiv url: http://arxiv.org/abs/2610.05739v1
• Date: Mon, 05 Oct 2026 03:44:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 04:45:41.082584
• Title: HLA-WM: Hybrid Linear Attention for Long-Horizon Video World Models
• Title（参考訳）: HLA-WM:長距離ビデオワールドモデルのためのハイブリッドリニアアテンション
• Abstract要約: HLA-WMは、トレーニングフリーのハイブリッドリニアアテンションフレームワークである。 Gated DeltaNetのアフィン構造を利用して、コンパクトなチャンクのトランジションサマリーをキャッシュする。 カメラ幾何学を用いてシーン関連履歴チャンクを検索し、それらをクエリ固有のリカレント状態に再構成する。
• 参考スコア（独自算出の注目度）: 47.19295948657598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon video world models require persistent memory to preserve scene consistency over extended rollouts. Softmax attention retains the full generation history through a growing KV cache, whereas recurrent linear attention compresses history into fixed-size states with substantially lower memory cost. However, we identify severe long-range forgetting in Gated DeltaNet (GDN), where information from distant but relevant scenes is progressively attenuated by subsequent state updates. To address this limitation, we propose HLA-WM, a training-free hybrid linear-attention framework that combines coarse-grained geometry-guided retrieval with fine-grained recurrent linear-state computation. HLA-WM exploits the affine structure of GDN to cache compact chunk-wise transition summaries, retrieve scene-relevant historical chunks using camera geometry, and recompose them into query-specific recurrent states. On the $60$-second SANA-WM-Bench, HLA-WM improves all six aggregate revisit-consistency and camera-control metrics of the base autoregressive generator without additional training, including a $0.74$ dB PSNR gain and a $28.5\%$ reduction in rotation error. The improvements persist after downstream refinement and generalize to MBench-A, where HLA-WM consistently improves all three revisit-consistency metrics across all four subsets and all evaluated inference modes over $547$ samples. At a $60$-second context, HLA-WM reduces historical-state memory by $12\times$ relative to full KV caching while incurring at most a $1.6\%$ reduction in inference throughput. These results demonstrate that selectively addressable recurrent memory can improve long-range scene recall while preserving the efficiency advantages of GDN. Project page: https://caesarhhh.github.io/hla-wm/
• Abstract（参考訳）: ロングホライゾンビデオワールドモデルは、拡張されたロールアウトよりもシーンの一貫性を維持するために永続的なメモリを必要とする。 ソフトマックスアテンションはKVキャッシュの増大によって全世代履歴を保持し、リカレントリニアアテンションはメモリコストを大幅に下げた固定サイズ状態に履歴を圧縮する。 しかし,Gated DeltaNet(GDN)では,その後の状態更新によって,遠方でも関連するシーンからの情報が徐々に減少する。 この制限に対処するために、粗粒度幾何誘導検索と細粒度リカレント線形状態計算を組み合わせた訓練不要なハイブリッドリニアアテンションフレームワークであるHLA-WMを提案する。 HLA-WMはGDNのアフィン構造を利用して、コンパクトなチャンクのトランジションサマリーをキャッシュし、カメラ幾何学を用いてシーン関連歴史的チャンクを検索し、それらをクエリ固有のリカレント状態に再構成する。 60ドル秒のSANA-WM-Benchでは、HLA-WMは、0.74ドルdBのPSNRゲインと28.5セントのローテーション誤差の減少を含む、追加のトレーニングなしでベースオートレグレッシブジェネレータの6つの集合的なリビジット一貫性とカメラ制御のメトリクスを改善している。 HLA-WMは4つのサブセットすべてと547ドルのサンプルで評価された推論モードの3つのリビジット一貫性を一貫して改善している。 60ドル秒のコンテキストでは、HLA-WMは、フルKVキャッシュと比較して、履歴状態のメモリを12\times$に削減し、推論スループットを最大で1.6\%削減する。 これらの結果は,GDNの効率性を保ちながら,選択的に対応可能なリカレントメモリが長距離シーンリコールを改善することを示す。 プロジェクトページ: https://caesarhh.github.io/hla-wm/

関連論文リスト

• HLA: Expressive Hybrid Linear Attention via Chunk-Wise Dynamic Mixing [46.9405944149712]
  Gated DeltaNet (GDN) のためのクエリ依存型チャンクレベルのアテンション機構である emphHybrid Linear Attention (HLA) を導入する。 HLAは、完了したチャンクを正確なアフィン状態遷移として表現し、コンテンツ依存のルーティングゲートを計算する。 プレトレーニング適応とオフスクラッチトレーニングを併用したHLAの評価を行った。
  論文  参考訳（メタデータ） (2026-10-05T05:49:31Z)
• LOCI: Spatial Linear Memory for Streaming World Models [6.207341594848763]
  カメラが以前に観察された領域を再検討する場合、ビデオワールドモデルは以前あった領域を再現するべきである。 キーバリューキャッシュはビジュアルディテールを保ちながらビデオ長で成長する; 再帰メモリはコンパクトだが、履歴を固定サイズに圧縮する。 両表現を格納するハイブリッド空間メモリアーキテクチャであるLOCIを紹介する。
  論文  参考訳（メタデータ） (2026-09-30T17:27:06Z)
• Towards Memory-Efficient Autoregressive Video Generation via Instance-Specific Parametric Absorption [37.96485836820005]
  インスタンス比パラメトリック吸収(ISPA)は、KVキャッシュ圧縮を廃棄から蒸留に移行する新しいフレームワークである。 また,ISPAはKVキャッシュの最大50%を視覚的品質で除去できることを示した。
  論文  参考訳（メタデータ） (2026-07-01T09:59:28Z)
• Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion [61.57938553036056]
  ARL2は、二次的なクロスフレームアテンションを固定サイズのリカレント状態に置き換えるハイブリッドアテンションモジュールである。 本研究では,フレーム内ソフトマックスブランチとフレーム間リカレント線形ブランチの2つに分割し,ストリームコンテキストの固定サイズ状態を維持する。 75%の層がハイブリッドリニアアテンションに置き換えられ、最大2.26ウォールクロックのスピードアップと54%のメモリ削減を実現した。
  論文  参考訳（メタデータ） (2026-05-15T19:33:45Z)
• LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory [97.14005794889134]
  提案するLoGeRは,高密度な3次元再構成を,後最適化なしで極めて長いシーケンスに拡張する新しいアーキテクチャである。 LoGeRはビデオストリームをチャンクで処理し、高忠実度なチャンク内推論に強力な双方向の事前処理を活用する。 このメモリアーキテクチャにより、LoGeRは128フレームのシーケンスでトレーニングでき、推論中に数千フレームまで一般化できる。
  論文  参考訳（メタデータ） (2026-03-03T18:55:37Z)
• On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
  大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。 まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。 本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
  論文  参考訳（メタデータ） (2025-06-11T01:25:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。