論文の概要: Generating 3D-Consistent Videos from Unposed Internet Photos
- arxiv url: http://arxiv.org/abs/2411.13549v1
- Date: Wed, 20 Nov 2024 18:58:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-21 16:11:58.708082
- Title: Generating 3D-Consistent Videos from Unposed Internet Photos
- Title（参考訳）: 未公開のインターネット写真から3D一貫性のある映像を生成する
- Authors: Gene Chou, Kai Zhang, Sai Bi, Hao Tan, Zexiang Xu, Fujun Luan, Bharath Hariharan, Noah Snavely,
- Abstract要約: カメラパラメータなどの3Dアノテーションを使わずに,スケーラブルな3D対応ビデオモデルをトレーニングする。
その結果,映像やマルチビューインターネット写真などの2次元データのみを用いて,シーンレベルの3D学習をスケールアップできることが示唆された。
- 参考スコア（独自算出の注目度）: 68.944029293283
- License:
- Abstract: We address the problem of generating videos from unposed internet photos. A handful of input images serve as keyframes, and our model interpolates between them to simulate a path moving between the cameras. Given random images, a model's ability to capture underlying geometry, recognize scene identity, and relate frames in terms of camera position and orientation reflects a fundamental understanding of 3D structure and scene layout. However, existing video models such as Luma Dream Machine fail at this task. We design a self-supervised method that takes advantage of the consistency of videos and variability of multiview internet photos to train a scalable, 3D-aware video model without any 3D annotations such as camera parameters. We validate that our method outperforms all baselines in terms of geometric and appearance consistency. We also show our model benefits applications that enable camera control, such as 3D Gaussian Splatting. Our results suggest that we can scale up scene-level 3D learning using only 2D data such as videos and multiview internet photos.
- Abstract（参考訳）: 未公開のインターネット写真からビデオを生成するという問題に対処する。
一握りの入力画像がキーフレームとして機能し、私たちのモデルはそれらの間に補間し、カメラ間を移動する経路をシミュレートします。
ランダムな画像が与えられた場合、モデルが背景となる幾何学を捉え、シーンのアイデンティティを認識し、カメラの位置と向きのフレームを関連付ける能力は、3D構造とシーンレイアウトの基本的な理解を反映している。
しかし、Luma Dream Machineのような既存のビデオモデルは、このタスクでは失敗する。
我々は、カメラパラメータなどの3Dアノテーションを使わずに、スケーラブルで3D対応のビデオモデルをトレーニングするために、ビデオの一貫性と多視点インターネット写真の可変性を活かした自己教師方式を設計する。
我々は,幾何学的および外観的整合性の観点から,本手法がすべての基準線より優れていることを検証した。
また, 3D Gaussian Splatting など, カメラ制御を実現するアプリケーションにも有効であることを示す。
その結果,映像やマルチビューインターネット写真などの2次元データのみを用いて,シーンレベルの3D学習をスケールアップできることが示唆された。
関連論文リスト
- Unsupervised Learning of Category-Level 3D Pose from Object-Centric Videos [15.532504015622159]
カテゴリーレベルの3Dポーズ推定は、コンピュータビジョンとロボット工学において基本的に重要な問題である。
カテゴリーレベルの3Dポーズを,カジュアルに撮られた対象中心の動画からのみ推定する学習の課題に取り組む。
論文 参考訳（メタデータ） (2024-07-05T09:43:05Z) - SYM3D: Learning Symmetric Triplanes for Better 3D-Awareness of GANs [5.84660008137615]
SYM3Dは、自然と人造の物体で見られる主観対称性構造を活用するために設計された、新しい3D対応のGANである。
単視点画像のみを訓練しても, 詳細な形状やテクスチャを捉える上で, 優れた性能を示す。
論文 参考訳（メタデータ） (2024-06-10T16:24:07Z) - WildFusion: Learning 3D-Aware Latent Diffusion Models in View Space [77.92350895927922]
潜在拡散モデル(LDM)に基づく3次元画像合成の新しいアプローチであるWildFusionを提案する。
我々の3D対応LCMは、マルチビュー画像や3D幾何学を直接監督することなく訓練されている。
これにより、スケーラブルな3D認識画像合成と、Wild画像データから3Dコンテンツを作成するための有望な研究道が開かれる。
論文 参考訳（メタデータ） (2023-11-22T18:25:51Z) - AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。
3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。
次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
論文 参考訳（メタデータ） (2023-07-07T17:59:14Z) - DaGAN++: Depth-Aware Generative Adversarial Network for Talking Head
Video Generation [18.511092587156657]
顔画像から高密度な3次元顔形状を学習するための新しい自己教師手法を提案する。
また,画素レベルの不確実性を学習し,幾何学習のためのより信頼性の高い剛体移動画素を知覚する戦略を提案する。
我々は,3D対応のクロスモーダル(e,外見,深度)アテンション機構を開発し,粗い方法で顔のジオメトリーを捉える。
論文 参考訳（メタデータ） (2023-05-10T14:58:33Z) - Unsupervised Volumetric Animation [54.52012366520807]
非剛性変形物体の教師なし3次元アニメーションのための新しい手法を提案する。
本手法は,RGBビデオのみからオブジェクトの3次元構造とダイナミックスを学習する。
我々は,本モデルを用いて,単一ボリュームまたは少数の画像からアニマタブルな3Dオブジェクトを得ることができることを示す。
論文 参考訳（メタデータ） (2023-01-26T18:58:54Z) - Video Autoencoder: self-supervised disentanglement of static 3D
structure and motion [60.58836145375273]
ビデオから3次元構造とカメラポーズの遠心分離表現を学習するために,ビデオオートエンコーダを提案する。
この表現は、新しいビュー合成、カメラポーズ推定、動きの追従によるビデオ生成など、様々なタスクに適用することができる。
論文 参考訳（メタデータ） (2021-10-06T17:57:42Z) - Unsupervised Learning of Visual 3D Keypoints for Control [104.92063943162896]
高次元画像からの感覚運動制御ポリシーの学習は、基礎となる視覚表現の品質に大きく依存する。
本稿では,画像から3次元幾何学的構造を直接教師なしで学習するフレームワークを提案する。
これらの発見された3Dキーポイントは、時間と3D空間の両方で一貫した方法で、ロボットの関節と物体の動きを有意義にキャプチャする傾向がある。
論文 参考訳（メタデータ） (2021-06-14T17:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。