論文の概要: Beyond the Frame: Generating 360° Panoramic Videos from Perspective Videos
- arxiv url: http://arxiv.org/abs/2504.07940v2
- Date: Thu, 17 Apr 2025 14:35:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-25 12:27:06.643491
- Title: Beyond the Frame: Generating 360° Panoramic Videos from Perspective Videos
- Title（参考訳）: 360度パノラマ動画を視界から生成する『Beyond the Frame』
- Authors: Rundong Luo, Matthew Wallingford, Ali Farhadi, Noah Snavely, Wei-Chiu Ma,
- Abstract要約: 360degのビデオは、私たちの周囲のより完全な視点を提供する。
既存のビデオモデルは、標準的なビデオを作るのに優れているが、完全なパノラマビデオを生成する能力は、まだ明らかになっていない。
高品質なデータフィルタリングパイプラインを開発し、双方向のトレーニングデータをキュレートし、360度ビデオ生成の品質を向上させる。
実験結果から,本モデルでは実写的でコヒーレントな360デグ映像を撮影できることが示された。
- 参考スコア（独自算出の注目度）: 64.10180665546237
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 360{\deg} videos have emerged as a promising medium to represent our dynamic visual world. Compared to the "tunnel vision" of standard cameras, their borderless field of view offers a more complete perspective of our surroundings. While existing video models excel at producing standard videos, their ability to generate full panoramic videos remains elusive. In this paper, we investigate the task of video-to-360{\deg} generation: given a perspective video as input, our goal is to generate a full panoramic video that is consistent with the original video. Unlike conventional video generation tasks, the output's field of view is significantly larger, and the model is required to have a deep understanding of both the spatial layout of the scene and the dynamics of objects to maintain spatio-temporal consistency. To address these challenges, we first leverage the abundant 360{\deg} videos available online and develop a high-quality data filtering pipeline to curate pairwise training data. We then carefully design a series of geometry- and motion-aware operations to facilitate the learning process and improve the quality of 360{\deg} video generation. Experimental results demonstrate that our model can generate realistic and coherent 360{\deg} videos from in-the-wild perspective video. In addition, we showcase its potential applications, including video stabilization, camera viewpoint control, and interactive visual question answering.
- Abstract（参考訳）: 360{\deg}ビデオは、われわれのダイナミックな視覚世界を表現するための有望な媒体として登場した。
標準カメラの「トンネル視界」と比較すると、その境界のない視野は私たちの周囲をより完全な視界を与えてくれる。
既存のビデオモデルは、標準的なビデオを作るのに優れているが、フルパノラマビデオを生成する能力は、いまだに明白だ。
本稿では,ビデオから360{\degの生成の課題について検討する。視点映像を入力として,本来の映像と整合したフルパノラマ映像を生成することが目的である。
従来の映像生成タスクとは異なり、出力の視野はかなり大きく、空間配置とオブジェクトのダイナミックスの両方を深く理解し、時空間整合性を維持する必要がある。
これらの課題に対処するために、私たちはまず、オンラインで利用可能な豊富な360{\deg}ビデオを活用し、ペアのトレーニングデータをキュレートするための高品質なデータフィルタリングパイプラインを開発しました。
次に,学習プロセスの容易化と360{\deg}ビデオ生成の質向上のために,幾何および運動認識の一連の操作を慎重に設計する。
実験結果から,本モデルを用いて実写的でコヒーレントな360{\deg}ビデオが生成できることが示唆された。
さらに、ビデオ安定化、カメラ視点制御、対話型視覚質問応答など、潜在的な応用について紹介する。
関連論文リスト
- ViewPoint: Panoramic Video Generation with Pretrained Diffusion Models [52.87334248847314]
本研究では,パノラマ映像の生成に事前学習した視点映像モデルを用いた新しいフレームワークを提案する。
具体的には,世界空間の連続性と細かな視覚的詳細を同時に持つビューポイントマップという新しいパノラマ表現を設計する。
提案手法は,パノラマ映像を高度にダイナミックかつ空間的に一貫したパノラマ映像を合成し,最先端の性能を達成し,従来の手法を超越することができる。
論文 参考訳（メタデータ） (2025-06-30T04:33:34Z) - WorldExplorer: Towards Generating Fully Navigable 3D Scenes [49.21733308718443]
WorldExplorerは、幅広い視点で一貫した視覚的品質で、完全にナビゲート可能な3Dシーンを構築する。
私たちは、シーンを深く探求する、短く定義された軌道に沿って、複数のビデオを生成します。
我々の新しいシーン記憶は、各ビデオが最も関連性の高い先行ビューで条件付けされている一方、衝突検出機構は劣化を防止している。
論文 参考訳（メタデータ） (2025-06-02T15:41:31Z) - PanoWan: Lifting Diffusion Video Generation Models to 360° with Latitude/Longitude-aware Mechanisms [41.92179513409301]
既存のパノラマビデオ生成モデルは、高品質なパノラマビデオのための従来のテキスト・ツー・ビデオ・モデルから事前訓練された生成先を活用するのに苦労している。
本稿では,パノラマ領域に最小限のモジュールを備えた事前学習されたテキスト・ビデオ・モデルを効果的に持ち上げるパノラマモデルを提案する。
これらの揚力表現を学習するためのパノラマビデオを提供するため、キャプションと多様なシナリオを備えた高品質なパノラマビデオデータセットであるPanoVidをコントリビュートする。
論文 参考訳（メタデータ） (2025-05-28T06:24:21Z) - VideoPanda: Video Panoramic Diffusion with Multi-view Attention [57.87428280844657]
高解像度パノラマビデオコンテンツはバーチャルリアリティーの没入体験にとって最重要であるが、特殊な機器や複雑なカメラのセットアップを必要とするため、収集は容易ではない。
VideoPandaは、既存の方法と比較して、すべての入力条件に対してよりリアルでコヒーレントな360$のパノラマを生成する。
論文 参考訳（メタデータ） (2025-04-15T16:58:15Z) - WorldPrompter: Traversable Text-to-Scene Generation [18.405299478122693]
テキストプロンプトから可逆3Dシーンを合成するための新しい生成パイプラインであるWorldPrompterを紹介する。
WorldPrompterには条件付き360度パノラマビデオジェネレータが組み込まれており、仮想環境を歩いたり捉えたりする人をシミュレートする128フレームのビデオを生成することができる。
得られたビデオは、高速フィードフォワード3Dコンストラクタによってガウススプラッターとして再構成され、3Dシーン内で真の歩行可能な体験を可能にする。
論文 参考訳（メタデータ） (2025-04-02T18:04:32Z) - T-SVG: Text-Driven Stereoscopic Video Generation [87.62286959918566]
本稿では,テキスト駆動ステレオビデオ生成(T-SVG)システムを紹介する。
テキストプロンプトを使用してビデオ生成を合理化し、参照ビデオを作成する。
これらのビデオは、3Dポイントのクラウドシーケンスに変換され、微妙なパララックス差のある2つの視点からレンダリングされる。
論文 参考訳（メタデータ） (2024-12-12T14:48:46Z) - From an Image to a Scene: Learning to Imagine the World from a Million 360 Videos [71.22810401256234]
オブジェクトやシーンの3次元理解は、人間が世界と対話する能力において重要な役割を果たす。
大規模合成およびオブジェクト中心の3Dデータセットは、オブジェクトの3D理解を持つモデルのトレーニングに有効であることが示されている。
我々は360-1M、360度ビデオデータセット、およびスケールの多様な視点から対応するフレームを効率的に見つけるプロセスを紹介した。
論文 参考訳（メタデータ） (2024-12-10T18:59:44Z) - Imagine360: Immersive 360 Video Generation from Perspective Anchor [79.97844408255897]
Imagine360は、360円から360ドル程度のビデオ生成フレームワークだ。
360ドル(約3万3000円)の限られたビデオデータから、細粒の球面と動きのパターンを学習する。
最先端の360ドル(約3万3000円)の動画生成方法では、グラフィック品質とモーションコヒーレンスに優れています。
論文 参考訳（メタデータ） (2024-12-04T18:50:08Z) - Cavia: Camera-controllable Multi-view Video Diffusion with View-Integrated Attention [62.2447324481159]
Caviaはカメラ制御可能なマルチビュービデオ生成のための新しいフレームワークである。
我々のフレームワークは、空間的および時間的注意モジュールを拡張し、視点と時間的一貫性を改善します。
Caviaは、ユーザーが物体の動きを取得しながら、異なるカメラの動きを特定できる最初の製品だ。
論文 参考訳（メタデータ） (2024-10-14T17:46:32Z) - SVG: 3D Stereoscopic Video Generation via Denoising Frame Matrix [60.48666051245761]
本研究では,3次元立体映像生成のためのポーズフリーかつトレーニングフリーな手法を提案する。
提案手法は, 推定ビデオ深度を用いた立体視ベースライン上のカメラビューにモノクロ映像をワープする。
本研究では,映像の画質向上を図るために,非閉塞境界再注入方式を開発した。
論文 参考訳（メタデータ） (2024-06-29T08:33:55Z) - 360DVD: Controllable Panorama Video Generation with 360-Degree Video Diffusion Model [23.708946172342067]
本研究では,360度パノラマビデオを生成するために360DVDと呼ばれるパイプラインを提案する。
我々は,パノラマビデオ生成のためのトレーニング済みのT2Vモデルを変換するために,360 Enhancement Techniquesを併用した軽量な360-Adapterを提案する。
また,360DVDをトレーニングするためのパノラマビデオテキストペアからなる WEB360 という新しいパノラマデータセットを提案する。
論文 参考訳（メタデータ） (2024-01-12T13:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。