論文の概要: PolyOculus: Simultaneous Multi-view Image-based Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2402.17986v3
• Date: Thu, 25 Jul 2024 18:47:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 18:11:46.471018
• Title: PolyOculus: Simultaneous Multi-view Image-based Novel View Synthesis
• Title（参考訳）: Poly Oculus: 同時多視点画像ベース新規ビュー合成
• Authors: Jason J. Yu, Tristan Aumentado-Armstrong, Fereshteh Forghani, Konstantinos G. Derpanis, Marcus A. Brubaker,
• Abstract要約: 本稿では,複数の自己整合性を持つ新しいビューを同時に生成できるセットベース生成モデルを提案する。 我々のアプローチは一度に1つの画像を生成することに限らず、可変数のビューを条件にすることができる。 このモデルでは、ループや双眼の軌跡のような自然な順序のないビューを生成でき、そのようなタスクにおいて他の方法よりも大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 23.967904337714234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper considers the problem of generative novel view synthesis (GNVS), generating novel, plausible views of a scene given a limited number of known views. Here, we propose a set-based generative model that can simultaneously generate multiple, self-consistent new views, conditioned on any number of views. Our approach is not limited to generating a single image at a time and can condition on a variable number of views. As a result, when generating a large number of views, our method is not restricted to a low-order autoregressive generation approach and is better able to maintain generated image quality over large sets of images. We evaluate our model on standard NVS datasets and show that it outperforms the state-of-the-art image-based GNVS baselines. Further, we show that the model is capable of generating sets of views that have no natural sequential ordering, like loops and binocular trajectories, and significantly outperforms other methods on such tasks.
• Abstract（参考訳）: 本稿では,生成的新規ビュー合成(GNVS)の問題について考察する。 本稿では,複数のビューを同時に生成できるセットベース生成モデルを提案する。 我々のアプローチは一度に1つの画像を生成することに限らず、可変数のビューを条件にすることができる。 その結果、多数のビューを生成する場合、この手法は低次自己回帰生成アプローチに制限されず、大量の画像に対してより優れた画像品質を維持することができる。 我々は、標準NVSデータセット上でモデルを評価し、最先端の画像ベースであるGNVSベースラインよりも優れていることを示す。 さらに,本モデルでは,ループや双眼トラジェクトリのような自然な順序付けのないビューを生成でき,他の手法よりも優れていることを示す。

関連論文リスト

• MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
  MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。 以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T17:53:51Z)
• GenWarp: Single Image to Novel Views with Semantic-Preserving Generative Warping [47.38125925469167]
  一つの画像から新しいビューを生成するための意味保存型生成ワープフレームワークを提案する。 提案手法は,ソースビューイメージに生成モデルを条件付けすることで,既存の手法の限界に対処する。 我々のモデルは、ドメイン内シナリオとドメイン外シナリオの両方において、既存のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-05-27T15:07:04Z)
• ViewFusion: Learning Composable Diffusion Models for Novel View Synthesis [47.57948804514928]
  この研究は、新しいビュー合成に対する最先端のエンドツーエンド生成アプローチであるViewFusionを導入している。 ViewFusionは、シーンの任意の入力ビューに拡散デノゲーションステップを同時に適用する。
  論文  参考訳（メタデータ） (2024-02-05T11:22:14Z)
• SyncDreamer: Generating Multiview-consistent Images from a Single-view Image [59.75474518708409]
  SyncDreamerと呼ばれる新しい拡散モデルが単一ビュー画像から複数ビュー一貫性のある画像を生成する。 実験の結果、SyncDreamerはさまざまなビューに対して高い一貫性を持つ画像を生成することがわかった。
  論文  参考訳（メタデータ） (2023-09-07T02:28:04Z)
• Multi-object Video Generation from Single Frame Layouts [84.55806837855846]
  本研究では,グローバルシーンを局所オブジェクトに合成するビデオ生成フレームワークを提案する。 我々のフレームワークは、画像生成手法からの非自明な適応であり、この分野では新しくなっています。 本モデルは広範に使用されている2つのビデオ認識ベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-05-06T09:07:01Z)
• InfiniteNature-Zero: Learning Perpetual View Generation of Natural Scenes from Single Images [83.37640073416749]
  本研究では,1つの視点から自然シーンのフライスルー映像を学習する手法を提案する。 この能力は、カメラのポーズやシーンの複数のビューを必要とせずに、1枚の写真から学習される。
  論文  参考訳（メタデータ） (2022-07-22T15:41:06Z)
• Deep View Synthesis via Self-Consistent Generative Network [41.34461086700849]
  ビュー合成は、2つ以上のカメラが異なる位置で捉えた一連のビューから目に見えないビューを生成することを目的としている。 この問題に対処するために、ほとんどの既存の方法はピクセルに一致する幾何学的情報を利用しようとします。 本稿では,幾何学的情報を明示的に活用することなく,新たなビューを合成する自己持続生成ネットワーク(SCGN)を提案する。
  論文  参考訳（メタデータ） (2021-01-19T10:56:00Z)
• Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image [73.56631858393148]
  本研究では,1枚の画像から任意に長いカメラの軌跡に対応する新規ビューの長期生成という,永続的なビュー生成の問題について紹介する。 我々は、幾何合成と画像合成の両方を反復レンダリング、洗練、反復フレームワークで統合するハイブリッドアプローチを採用する。 提案手法は,手動のアノテーションを使わずに,一眼レフビデオシーケンスの集合から訓練することができる。
  論文  参考訳（メタデータ） (2020-12-17T18:59:57Z)
• Single-View View Synthesis with Multiplane Images [64.46556656209769]
  深層学習を応用して、既知の視点で2つ以上の入力画像が与えられた多面体画像を生成する。 本手法は,単一画像入力から直接多面体画像を予測することを学習する。 さらに、適切な深度マップを生成し、背景層の前景オブジェクトのエッジの背後にあるコンテンツを埋める。
  論文  参考訳（メタデータ） (2020-04-23T17:59:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。