論文の概要: PolyOculus: Simultaneous Multi-view Image-based Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2402.17986v1
- Date: Wed, 28 Feb 2024 02:06:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 16:32:41.848713
- Title: PolyOculus: Simultaneous Multi-view Image-based Novel View Synthesis
- Title(参考訳): polyoculus: 同時多視点画像ベースノベルビュー合成
- Authors: Jason J. Yu, Tristan Aumentado-Armstrong, Fereshteh Forghani,
Konstantinos G. Derpanis, Marcus A. Brubaker
- Abstract要約: 本稿では,複数の自己整合性を持つ新しいビューを同時に生成できるセットベース生成モデルを提案する。
我々のアプローチは一度に1つの画像を生成することに限らず、0、1、またはそれ以上のビューで条件を設定できる。
本モデルでは,自然な順序付けのないカメラビューを生成可能であることを示す。
- 参考スコア(独自算出の注目度): 25.713869197296475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper considers the problem of generative novel view synthesis (GNVS),
generating novel, plausible views of a scene given a limited number of known
views. Here, we propose a set-based generative model that can simultaneously
generate multiple, self-consistent new views, conditioned on any number of
known views. Our approach is not limited to generating a single image at a time
and can condition on zero, one, or more views. As a result, when generating a
large number of views, our method is not restricted to a low-order
autoregressive generation approach and is better able to maintain generated
image quality over large sets of images. We evaluate the proposed model on
standard NVS datasets and show that it outperforms the state-of-the-art
image-based GNVS baselines. Further, we show that the model is capable of
generating sets of camera views that have no natural sequential ordering, like
loops and binocular trajectories, and significantly outperforms other methods
on such tasks.
- Abstract(参考訳): 本稿では,生成的新規ビュー合成(GNVS)の問題について考察する。
本稿では,多数の既知のビューを条件に,複数の自己整合性を持つ新しいビューを同時に生成できるセットベース生成モデルを提案する。
我々のアプローチは一度に1つの画像を生成することに限らず、0、1、またはそれ以上のビューで条件を設定できる。
その結果、多数のビューを生成する場合、この手法は低次自己回帰生成アプローチに制限されず、大量の画像に対してより優れた画像品質を維持することができる。
提案したモデルを標準NVSデータセット上で評価し,最新画像ベースGNVSベースラインよりも優れていることを示す。
さらに,このモデルでは,ループや双眼軌跡など,自然な順序順序順序を持たないカメラビューを生成でき,他の手法を大幅に上回ることができることを示す。
関連論文リスト
- ViewFusion: Learning Composable Diffusion Models for Novel View
Synthesis [47.57948804514928]
この研究は、新しいビュー合成に対する最先端のエンドツーエンド生成アプローチであるViewFusionを導入している。
ViewFusionは、シーンの任意の入力ビューに拡散デノゲーションステップを同時に適用する。
論文 参考訳(メタデータ) (2024-02-05T11:22:14Z) - SyncDreamer: Generating Multiview-consistent Images from a Single-view
Image [62.751189946480096]
SyncDreamerと呼ばれる新しい拡散モデルが単一ビュー画像から複数ビュー一貫性のある画像を生成する。
実験の結果、SyncDreamerはさまざまなビューに対して高い一貫性を持つ画像を生成することがわかった。
論文 参考訳(メタデータ) (2023-09-07T02:28:04Z) - Multi-object Video Generation from Single Frame Layouts [84.55806837855846]
本研究では,グローバルシーンを局所オブジェクトに合成するビデオ生成フレームワークを提案する。
我々のフレームワークは、画像生成手法からの非自明な適応であり、この分野では新しくなっています。
本モデルは広範に使用されている2つのビデオ認識ベンチマークで評価されている。
論文 参考訳(メタデータ) (2023-05-06T09:07:01Z) - Long-Term Photometric Consistent Novel View Synthesis with Diffusion
Models [24.301334966272297]
本稿では,特定のカメラ軌跡に整合したフォトリアリスティックな画像列を生成できる新しい生成モデルを提案する。
生成したビューのシーケンス上の一貫性を測定するために、新しい計量、しきい値付き対称極性距離(TSED)を導入する。
論文 参考訳(メタデータ) (2023-04-21T02:01:02Z) - Novel View Synthesis with Diffusion Models [56.55571338854636]
本稿では,3Dノベルビュー合成のための拡散モデルである3DiMを提案する。
単一のインプットビューを多くのビューで一貫したシャープな補完に変換することができる。
3DiMは、条件付けと呼ばれる新しい技術を使って、3D一貫性のある複数のビューを生成することができる。
論文 参考訳(メタデータ) (2022-10-06T16:59:56Z) - InfiniteNature-Zero: Learning Perpetual View Generation of Natural
Scenes from Single Images [83.37640073416749]
本研究では,1つの視点から自然シーンのフライスルー映像を学習する手法を提案する。
この能力は、カメラのポーズやシーンの複数のビューを必要とせずに、1枚の写真から学習される。
論文 参考訳(メタデータ) (2022-07-22T15:41:06Z) - Self-Supervised Visibility Learning for Novel View Synthesis [79.53158728483375]
従来のレンダリング方法はシーン形状を推定し、2つの別々のステップで新しいビューを合成します。
エラー伝搬問題を排除するために,エンドツーエンドのNVSフレームワークを提案する。
当社のネットワークはエンドツーエンドのセルフ監視方式でトレーニングされており、ビュー合成におけるエラーの蓄積を大幅に軽減します。
論文 参考訳(メタデータ) (2021-03-29T08:11:25Z) - Deep View Synthesis via Self-Consistent Generative Network [41.34461086700849]
ビュー合成は、2つ以上のカメラが異なる位置で捉えた一連のビューから目に見えないビューを生成することを目的としている。
この問題に対処するために、ほとんどの既存の方法はピクセルに一致する幾何学的情報を利用しようとします。
本稿では,幾何学的情報を明示的に活用することなく,新たなビューを合成する自己持続生成ネットワーク(SCGN)を提案する。
論文 参考訳(メタデータ) (2021-01-19T10:56:00Z) - Infinite Nature: Perpetual View Generation of Natural Scenes from a
Single Image [73.56631858393148]
本研究では,1枚の画像から任意に長いカメラの軌跡に対応する新規ビューの長期生成という,永続的なビュー生成の問題について紹介する。
我々は、幾何合成と画像合成の両方を反復レンダリング、洗練、反復フレームワークで統合するハイブリッドアプローチを採用する。
提案手法は,手動のアノテーションを使わずに,一眼レフビデオシーケンスの集合から訓練することができる。
論文 参考訳(メタデータ) (2020-12-17T18:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。