論文の概要: VidPanos: Generative Panoramic Videos from Casual Panning Videos

• arxiv url: http://arxiv.org/abs/2410.13832v1
• Date: Thu, 17 Oct 2024 17:53:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:18:26.380740
• Title: VidPanos: Generative Panoramic Videos from Casual Panning Videos
• Title（参考訳）: VidPanos:カジュアルなパノラマ動画
• Authors: Jingwei Ma, Erika Lu, Roni Paiss, Shiran Zada, Aleksander Holynski, Tali Dekel, Brian Curless, Michael Rubinstein, Forrester Cole,
• Abstract要約: パノラマ画像ステッチは、カメラの視野を越えて広がるシーンの統一された広角ビューを提供する。 本稿では,カジュアルにキャプチャされたパンニングビデオからパノラマ動画を合成する方法を提案する。 我々のシステムは、人、車、流れる水など、さまざまな場所のシーンにビデオパノラマを作成できる。
• 参考スコア（独自算出の注目度）: 73.77443496436749
• License:
• Abstract: Panoramic image stitching provides a unified, wide-angle view of a scene that extends beyond the camera's field of view. Stitching frames of a panning video into a panoramic photograph is a well-understood problem for stationary scenes, but when objects are moving, a still panorama cannot capture the scene. We present a method for synthesizing a panoramic video from a casually-captured panning video, as if the original video were captured with a wide-angle camera. We pose panorama synthesis as a space-time outpainting problem, where we aim to create a full panoramic video of the same length as the input video. Consistent completion of the space-time volume requires a powerful, realistic prior over video content and motion, for which we adapt generative video models. Existing generative models do not, however, immediately extend to panorama completion, as we show. We instead apply video generation as a component of our panorama synthesis system, and demonstrate how to exploit the strengths of the models while minimizing their limitations. Our system can create video panoramas for a range of in-the-wild scenes including people, vehicles, and flowing water, as well as stationary background features.
• Abstract（参考訳）: パノラマ画像ステッチは、カメラの視野を越えて広がるシーンの統一された広角ビューを提供する。 パノラマ写真にパノラマ動画のフレームを固定化することは、静止シーンによく理解されている問題だが、物体が動いているとき、まだパノラマがシーンを捉えられない。 本研究では,カジュアルにキャプチャされたパンニングビデオからパノラマ映像を合成する方法を提案する。 我々は,パノラマ合成を時空間露光問題として,入力ビデオと同じ長さのフルパノラマビデオを作成することを目的としている。 時空ボリュームの連続的な完成には、生成的ビデオモデルを適用するために、映像の内容や動きよりも強力で現実的な優先が必要である。 しかし, 既存の生成モデルでは, パノラマの完成まですぐには続かなかった。 代わりに、パノラマ合成システムのコンポーネントとしてビデオ生成を適用し、その限界を最小限に抑えながらモデルの強みをどのように活用するかを実証する。 我々のシステムは、人、車、流れる水、静止した背景など、さまざまなシーンの映像パノラマを作成することができる。

関連論文リスト

• DiffPano: Scalable and Consistent Text to Panorama Generation with Spherical Epipolar-Aware Diffusion [60.45000652592418]
  本稿では,テキスト駆動型パノラマ生成フレームワークDiffPanoを提案し,拡張性,一貫性,多様なパノラマシーン生成を実現する。 DiffPanoは、不明瞭なテキスト記述とカメラのポーズによって、一貫した多様なパノラマ画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:57:02Z)
• Cavia: Camera-controllable Multi-view Video Diffusion with View-Integrated Attention [62.2447324481159]
  Caviaはカメラ制御可能なマルチビュービデオ生成のための新しいフレームワークである。 我々のフレームワークは、空間的および時間的注意モジュールを拡張し、視点と時間的一貫性を改善します。 Caviaは、ユーザーが物体の動きを取得しながら、異なるカメラの動きを特定できる最初の製品だ。
  論文  参考訳（メタデータ） (2024-10-14T17:46:32Z)
• Neural Light Spheres for Implicit Image Stitching and View Synthesis [32.396278546192995]
  暗黙的パノラマ画像縫合と再レンダリングのための球状神経電場モデル 従来の画像縫合法や放射場法に比べて再現性は向上した。
  論文  参考訳（メタデータ） (2024-09-26T15:05:29Z)
• LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation [105.52153675890408]
  3D没入型シーン生成はコンピュータビジョンとグラフィックスにおいて難しいが重要な課題である。 LayerPano3Dは、単一のテキストプロンプトからフルビューで探索可能なパノラマ3Dシーンを生成するための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-23T17:50:23Z)
• PanoVOS: Bridging Non-panoramic and Panoramic Views with Transformer for Video Segmentation [39.269864548255576]
  パノラマビデオデータセットPanoVOSを提案する。 データセットは150本のビデオに高解像度と多様なモーションを提供する。 パノラマ空間整合変換器(PSCFormer)は,従来のフレームのセマンティック境界情報を,現在のフレームとの画素レベルのマッチングに有効に利用することができる。
  論文  参考訳（メタデータ） (2023-09-21T17:59:02Z)
• HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video [44.58519508310171]
  我々は、人間の複雑な身体の動きを観察するモノクラービデオで動作する、自由視点レンダリング手法、HumanNeRFを紹介した。 提案手法は,任意のフレームで動画をパージングし,任意のカメラ視点から被写体をレンダリングする。
  論文  参考訳（メタデータ） (2022-01-11T18:51:21Z)
• Sampling Based Scene-Space Video Processing [89.49726406622842]
  ビデオ処理のための新しいサンプリングベースのフレームワークを提案する。 奥行きのミスやカメラのポーズ推定がある場合、高品質なシーン空間ビデオ効果を可能にする。 カジュアルにキャプチャーされた、手持ちの、動く、圧縮された、モノラルなビデオの結果を提示する。
  論文  参考訳（メタデータ） (2021-02-05T05:55:04Z)
• Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image [73.56631858393148]
  本研究では,1枚の画像から任意に長いカメラの軌跡に対応する新規ビューの長期生成という,永続的なビュー生成の問題について紹介する。 我々は、幾何合成と画像合成の両方を反復レンダリング、洗練、反復フレームワークで統合するハイブリッドアプローチを採用する。 提案手法は,手動のアノテーションを使わずに,一眼レフビデオシーケンスの集合から訓練することができる。
  論文  参考訳（メタデータ） (2020-12-17T18:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。