論文の概要: SPW-Nav: A Streaming Panoramic World Model for Language-Guided Navigation
- arxiv url: http://arxiv.org/abs/2610.08941v1
- Date: Tue, 06 Oct 2026 18:05:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.534821
- Title: SPW-Nav: A Streaming Panoramic World Model for Language-Guided Navigation
- Title（参考訳）: SPW-Nav: 言語誘導ナビゲーションのためのストリーミングパノラマ世界モデル
- Abstract要約: 言語誘導型パノラマビデオ生成は、インタラクティブな3Dシーン探索、バーチャルリアリティ体験、エンボディドエージェントトレーニングなど、さまざまなダウンストリームアプリケーションに効果がある。
本研究では,1つのパノラマから2Kの360度映像をリアルタイムにストリームするストリーミングパノラマ世界モデルSPW-Navを提案する。
- 参考スコア（独自算出の注目度）: 67.07481777491743
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language-guided panoramic video generation benefits various downstream applications, such as interactive 3D scene exploration, virtual reality experiences, and embodied agent training. Existing panoramic generators follow predefined trajectories, and interactive world models act through low-level actions in perspective views. We propose SPW-Nav, a streaming panoramic world model that understands movement instructions and streams one minute of 2K 360-degree video in real time from a single panorama. SPW-Nav interprets each instruction in the previously generated panorama as camera motion. Spherical rotation decoupling applies rotation exactly on the sphere, pose-aligned conditioning keeps translation inputs bounded over long streams, and a multi-term memory with a few-step generator continues the scene as instructions change. We also build SPW-NavSet, panoramic videos with camera trajectories and verified instructions. Driven by language, SPW-Nav outperforms prior panoramic generators in camera-following accuracy and video quality, and supports on-the-fly instruction switching.
- Abstract（参考訳）: 言語誘導型パノラマビデオ生成は、インタラクティブな3Dシーン探索、バーチャルリアリティ体験、エンボディドエージェントトレーニングなど、さまざまなダウンストリームアプリケーションに効果がある。
既存のパノラマジェネレータは事前に定義された軌道を辿り、インタラクティブな世界モデルは視点ビューにおける低レベルなアクションを通して機能する。
本研究では,1つのパノラマから2Kの360度映像をリアルタイムにストリームするストリーミングパノラマ世界モデルSPW-Navを提案する。
SPW-Navは、以前生成されたパノラマの命令をカメラモーションとして解釈する。
球状回転デカップリングは球面に正確に回転を施し、ポーズ整列条件付けは長いストリームに束縛された翻訳入力を保ち、数ステップのジェネレータを持つ複数長期メモリは命令が変わるにつれてシーンを継続する。
また、SPW-NavSet、パノラマビデオ、カメラトラジェクトリ、検証命令も作成しています。
言語によって駆動されるSPW-Navは、カメラ追従精度とビデオ品質において、以前のパノラマジェネレータよりも優れ、オンザフライの命令切替をサポートする。
関連論文リスト
- MUGEN: Interactive Panoramic World Exploration via Camera Control [40.13753309848311]
インタラクティブなパノラマビデオ生成は、探索中にユーザーが指定したカメラ軌跡に従いながら、視覚的にコヒーレントな没入型360度ビデオを合成することを目的としている。
既存のパノラマビデオデータセットは、しばしば短い、弱い注釈付き、カメラの軌跡がない。
これらの制約に対処するためにMUGENとWan360を導入する。
論文 参考訳（メタデータ） (2026-09-29T17:36:11Z) - Genie Sim PanoWorld: An Infinite Indoor 3D World Generation Pipeline via Panoramic Scene Modeling and Simulation [9.228046414885494]
既存の方法では、下流の3D再構成を阻害する計量軌道制御が欠如しているか、あるいは長距離カメラの動作下での大規模な排除に苦慮している。
我々は2段階のフィードフォワードパイプラインであるGenie Sim PanoWorldを紹介した。
論文 参考訳（メタデータ） (2026-07-29T09:08:16Z) - TAPVid-360: Tracking Any Point in 360 from Narrow Field of View Video [7.009814571727852]
TAPVid-360は,ビデオシーケンスを横断するシーンポイントに対する3次元方向の予測を必要とする新しいタスクである。
我々は360度動画を監督の源として利用し、真実の方向を計算しながら視野を狭くする。
我々のベースラインはCoTracker v3に適応し、方向更新のためのポイント毎の回転を予測し、既存のTAPおよびTAPVid 3D法より優れている。
論文 参考訳（メタデータ） (2025-11-26T22:13:26Z) - PanoWorld-X: Generating Explorable Panoramic Worlds via Sphere-Aware Video Diffusion [87.13016347332943]
PanoWorld-Xは、多彩なカメラ軌道を持つ高忠実で制御可能なパノラマビデオ生成のための新しいフレームワークである。
動作範囲,制御精度,視覚的品質など,様々な面で優れた性能を示す実験を行った。
論文 参考訳（メタデータ） (2025-09-29T16:22:00Z) - TiP4GEN: Text to Immersive Panorama 4D Scene Generation [82.8444414014506]
TiP4GENはテキストから動的パノラマシーン生成フレームワークである。
微粒なコンテンツ制御を可能にし、動きに富んだ幾何学的なパノラマ4Dシーンを合成する。
TiP4GENはパノラマビデオ生成と動的シーン再構成を統合し、360度没入型仮想環境を作成する。
論文 参考訳（メタデータ） (2025-08-17T16:02:24Z) - WorldExplorer: Towards Generating Fully Navigable 3D Scenes [48.16064304951891]
WorldExplorerは、幅広い視点で一貫した視覚的品質で、完全にナビゲート可能な3Dシーンを構築する。
私たちは、シーンを深く探求する、短く定義された軌道に沿って、複数のビデオを生成します。
我々の新しいシーン記憶は、各ビデオが最も関連性の高い先行ビューで条件付けされている一方、衝突検出機構は劣化を防止している。
論文 参考訳（メタデータ） (2025-06-02T15:41:31Z) - LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation [105.52153675890408]
3D没入型シーン生成はコンピュータビジョンとグラフィックスにおいて難しいが重要な課題である。
Layerpano3Dは、単一のテキストプロンプトからフルビューで探索可能なパノラマ3Dシーンを生成するための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-08-23T17:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。