論文の概要: Light Interaction: Training-Free Inference Acceleration for Interactive Video World Models
- arxiv url: http://arxiv.org/abs/2605.31158v1
- Date: Fri, 29 May 2026 11:06:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.562561
- Title: Light Interaction: Training-Free Inference Acceleration for Interactive Video World Models
- Title（参考訳）: 光インタラクション:インタラクティブなビデオワールドモデルのためのトレーニング不要推論高速化
- Abstract要約: インタラクティブなビデオワールドモデルのためのトレーニング不要な推論アクセラレーションフレームワークであるLight Interactionを紹介する。
我々の重要な洞察は、相互作用が自然に軌道に依存した適応計算を可能にすることである。
この知見に基づいて、Light Interactionは適応コンテキスト管理、キャッシュアクセラレーションのデノベーション、ハードウェアとソフトウェアが共同設計した3Dブロックスパースアテンションと、融合したトリトンカーネルを組み合わせる。
- 参考スコア（独自算出の注目度）: 20.092183394277132
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interactive video world models generate video chunk by chunk in response to user-controlled camera movements, enabling applications such as real-time game simulation, virtual scene navigation, and embodied AI training. However, scaling to long interactive trajectories is prohibitively expensive due to growing context memory, quadratic attention complexity, and repeated denoising steps. We present Light Interaction, a training-free inference acceleration framework for interactive video world models. Our key insight is that interaction naturally enables trajectory-dependent adaptive computation: retrieved spatial memory can be discarded during novel exploration, temporal context can be adjusted according to local latent dynamics, and early-step model outputs can be reused when the camera revisits familiar regions. Based on this insight, Light Interaction combines adaptive context management, denoising cache acceleration, and hardware-software co-designed 3D block sparse attention with fused Triton kernels. Evaluated on HY-WorldPlay and Matrix-Game-3.0, Light Interaction achieves up to 2.59x speedup without model retraining while maintaining competitive visual quality.
- Abstract（参考訳）: インタラクティブなビデオワールドモデルは、ユーザ制御されたカメラの動きに応じてチャンク単位でビデオチャンクを生成し、リアルタイムゲームシミュレーション、仮想シーンナビゲーション、組み込みAIトレーニングなどのアプリケーションを可能にする。
しかし、コンテキスト記憶の増大、二次的注意の複雑さ、反復的な妄想的なステップにより、長い対話的な軌道へのスケーリングは違法に高価である。
インタラクティブなビデオワールドモデルのためのトレーニング不要な推論アクセラレーションフレームワークであるLight Interactionを紹介する。
我々の重要な洞察は、相互作用によって軌道依存型適応計算が自然に可能になることである: 検索された空間記憶は、新しい探索中に破棄され、時間的文脈は局所潜在力学に従って調整され、カメラが慣れ親しんだ領域を再検討する際には、初期段階のモデル出力が再利用される。
この知見に基づいて、Light Interactionは適応コンテキスト管理、キャッシュアクセラレーションのデノベーション、ハードウェアとソフトウェアが共同設計した3Dブロックスパースアテンションと、融合したトリトンカーネルを組み合わせる。
HY-WorldPlayとMatrix-Game-3.0で評価されたLight Interactionは、競争力のある視覚的品質を維持しながら、モデルの再トレーニングなしで最大2.59倍のスピードアップを達成する。
関連論文リスト
- Matrix-Game 3.5: Enhancing Real-Time Streaming Interactive World Models with Patch Memory [28.887112448832525]
本稿では,3つの重要な改良点を通じて,リアルタイム対話型ワールドジェネレーションを推し進めるMatrix-Game 3.5を紹介する。
まず、パッチメモリとタイル付きPRoPEコンポーネントが追加で学習可能なパラメータを導入しない統合幾何対応メモリフレームワークを提案する。
第2に、静的なシーン幾何学と動的主題を別々にモデル化した静的な非交叉世界表現を導入する。
第3に、双方向拡散モデルから数ステップの因果生成器に変換する2段階進行リアルタイム蒸留フレームワークを開発する。
論文 参考訳（メタデータ） (2026-08-30T17:11:00Z) - LiveLight: Real-time Streaming Video Relighting with Interactive Control [50.08584152649119]
インタラクティブな3Dライティング制御を備えたリアルタイムストリーミングビデオリライティングのための,最初の拡散ベースのフレームワークであるLiveLightを紹介する。
拡散モデルに動的3D照明を効果的に注入し、低NFE予算下で高忠実度生成を維持し、対話型制御のための連続ストリーミングを容易にするという3つの重要な課題を克服する。
実世界のベンチマークと合成ベンチマークの実験は、LiveLightがリアルタイムに実行しながら最先端のリライト品質を達成することを示した。
論文 参考訳（メタデータ） (2026-08-03T06:45:00Z) - Follow Your Track: Precise Skeleton Animation Controlled by 3D Trajectories [93.39170866007431]
4Dジェネレーションは、3Dオブジェクトをリアルなモーションでアニメーション化することを目的としており、アプリケーションには大きな可能性を秘めている。
既存の方法は通常、モーション合成から3Dアセット生成を分離する。
トポロジ一般骨格アニメーションのための軌道条件付きフレームワークである textttACT について述べる。
論文 参考訳（メタデータ） (2026-06-24T03:18:10Z) - RealCam: Real-Time Novel-View Video Generation with Interactive Camera Control [30.825728569025525]
リアルタイムカメラ制御ビデオ・ツー・ビデオ(V2V)生成はインタラクティブな映画製作やライブ放送において大きな可能性を秘めている。
既存の暗黙合成法は、非因果的、フルシーケンス処理と厳密なプレフィックススタイルの時間的結合に依存している。
我々は、インタラクティブでリアルタイムなカメラ制御V2V生成のための新しい自動回帰フレームワーク、texttRealCamを紹介した。
論文 参考訳（メタデータ） (2026-05-07T11:36:29Z) - REACT3D: Recovering Articulations for Interactive Physical 3D Scenes [96.27769519526426]
REACT3Dは静的な3Dシーンを一貫した幾何学を持つシミュレーション可能なインタラクティブなレプリカに変換するフレームワークである。
室内の様々な場面における検出・分離・調音計測における最先端性能について検討した。
論文 参考訳（メタデータ） (2025-10-13T12:37:59Z) - Towards Robust and Generalizable Continuous Space-Time Video Super-Resolution with Events [71.2439653098351]
連続時空ビデオスーパーSTVSRは、高解像度で高フレームのビデオを任意の時間スケールで再構成する能力への関心が高まっている。
EvEnhancerは、イベントストリームにカプセル化された高時間および高ダイナミックレンジのユニークな特性を結合する新しいアプローチである。
提案手法は,OODスケールでの一般化性を維持しつつ,合成および実世界の両方のデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2025-10-04T15:23:07Z) - Matrix-Game 2.0: An Open-Source, Real-Time, and Streaming Interactive World Model [15.16063778402193]
Matrix-Game 2.0はインタラクティブな世界モデルで、数ステップの自己回帰拡散を通じて長時間の動画をオンザフライで生成する。
超高速25FPSで、さまざまなシーンで高品質のミニレベルビデオを生成することができる。
論文 参考訳（メタデータ） (2025-08-18T15:28:53Z) - EVA02-AT: Egocentric Video-Language Understanding with Spatial-Temporal Rotary Positional Embeddings and Symmetric Optimization [17.622013322533423]
EVA02-ATは、エゴセントリックなビデオ理解タスクに適した、EVA02ベースのビデオ言語基盤モデルのスイートである。
EVA02-ATは、画像ベースのCLIPモデルをシングルステージプレトレーニングを介して、統一ビデオエンコーダに効率的に転送する。
我々は,Symmetric Multi-Similarity(SMS)損失と,正と負のペアに対してすべてのソフトラベルを前進させる新しいトレーニングフレームワークを導入する。
論文 参考訳（メタデータ） (2025-06-17T09:51:51Z) - InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。
我々の重要な洞察は、大規模なビデオ生成モデルは、大規模ビデオデータからインタラクティブなダイナミクスを学習し、ニューラルと暗黙の物理シミュレーターの両方として機能できるということです。
論文 参考訳（メタデータ） (2024-12-16T13:57:02Z) - Video2Game: Real-time, Interactive, Realistic and Browser-Compatible Environment from a Single Video [23.484070818399]
Video2Gameは、現実世界のシーンのビデオを自動的にリアルでインタラクティブなゲーム環境に変換する新しいアプローチである。
リアルタイムに高リアルなレンダリングを作成できるだけでなく、インタラクティブなゲームも構築できることが示されています。
論文 参考訳（メタデータ） (2024-04-15T14:32:32Z) - DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis with 3D Gaussian Splatting [31.75611852583603]
動的シーンの点当たりの運動は、明示的あるいは学習的な軌跡の小さなセットに分解することができると論じる。
我々の表現は解釈可能であり、効率的であり、複雑な動的シーンの動きのリアルタイムなビュー合成を提供するのに十分な表現力を持っている。
論文 参考訳（メタデータ） (2023-11-30T18:59:11Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。