論文の概要: Bridging Implicit and Explicit Geometric Transformation for Single-Image View Synthesis

• arxiv url: http://arxiv.org/abs/2209.07105v3
• Date: Fri, 15 Mar 2024 08:21:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 08:01:36.033925
• Title: Bridging Implicit and Explicit Geometric Transformation for Single-Image View Synthesis
• Title（参考訳）: 単一画像ビュー合成のためのブリッジインプシットと明示的幾何学変換
• Authors: Byeongjun Park, Hyojun Go, Changick Kim,
• Abstract要約: シーソー」問題:再計画されたコンテンツを保存し、現実的なアウトオブビュー領域を完成させる。 本稿では,効率的な非自己回帰モデルを用いて,シーソー問題を緩和する単一画像ビュー合成フレームワークを提案する。 我々の損失関数は、明示的特徴が暗黙的特徴の再投影領域を改善し、暗黙的特徴が明示的特徴のアウト・オブ・ビュー領域を改善することを促進する。
• 参考スコア（独自算出の注目度）: 16.14528024065244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Creating novel views from a single image has achieved tremendous strides with advanced autoregressive models, as unseen regions have to be inferred from the visible scene contents. Although recent methods generate high-quality novel views, synthesizing with only one explicit or implicit 3D geometry has a trade-off between two objectives that we call the "seesaw" problem: 1) preserving reprojected contents and 2) completing realistic out-of-view regions. Also, autoregressive models require a considerable computational cost. In this paper, we propose a single-image view synthesis framework for mitigating the seesaw problem while utilizing an efficient non-autoregressive model. Motivated by the characteristics that explicit methods well preserve reprojected pixels and implicit methods complete realistic out-of-view regions, we introduce a loss function to complement two renderers. Our loss function promotes that explicit features improve the reprojected area of implicit features and implicit features improve the out-of-view area of explicit features. With the proposed architecture and loss function, we can alleviate the seesaw problem, outperforming autoregressive-based state-of-the-art methods and generating an image $\approx$100 times faster. We validate the efficiency and effectiveness of our method with experiments on RealEstate10K and ACID datasets.
• Abstract（参考訳）: 単一の画像から新しいビューを作成することは、視覚的なシーンの内容から未知の領域を推測する必要があるため、高度な自己回帰モデルによって大きな進歩を遂げた。 最近の手法は高品質な新奇な視点を生成するが、明示的な3次元幾何学と暗黙的な3次元幾何学の合成は、私たちが「シーソー」問題と呼ぶ2つの目的の間のトレードオフを持つ。 1)再計画された内容の保存及び 2)現実的なアウトオブビュー領域を完成させる。 また、自己回帰モデルは相当な計算コストを必要とする。 本稿では,効率的な非自己回帰モデルを用いてシーソー問題を緩和する単一画像ビュー合成フレームワークを提案する。 そこで我々は2つのレンダラーを補完する損失関数を導入する。 我々の損失関数は、明示的特徴が暗黙的特徴の再投影領域を改善し、暗黙的特徴が明示的特徴のアウト・オブ・ビュー領域を改善することを促進します。 提案したアーキテクチャと損失関数により、シーソー問題を緩和し、自己回帰に基づく最先端メソッドを性能良くし、イメージを$\approx$100倍高速に生成できる。 本研究では,RealEstate10KとACIDデータセットを用いた実験により,本手法の有効性と有効性を検証する。

関連論文リスト

• GAURA: Generalizable Approach for Unified Restoration and Rendering of Arbitrary Views [28.47730275628715]
  本稿では,いくつかの劣化条件下で高忠実性新規ビュー合成が可能な一般化可能なニューラルレンダリング手法を提案する。 我々の手法であるGAURAは学習ベースであり、テスト時間シーン固有の最適化を必要としない。
  論文  参考訳（メタデータ） (2024-07-11T06:44:37Z)
• Zero-to-Hero: Enhancing Zero-Shot Novel View Synthesis via Attention Map Filtering [16.382098950820822]
  我々は、注目マップを操作することでビュー合成を強化する新しいテストタイムアプローチであるZero-to-Heroを提案する。 我々は、ソースビューからの情報を統合するために自己認識機構を変更し、形状歪みを低減する。 結果は、分散オブジェクトの多様なセットで検証された、忠実性と一貫性の大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-05-29T00:58:22Z)
• Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
  本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。 視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。 本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
  論文  参考訳（メタデータ） (2023-11-30T10:36:19Z)
• NeRFInvertor: High Fidelity NeRF-GAN Inversion for Single-shot Real Image Animation [66.0838349951456]
  Nerfベースの生成モデルは、一貫した3次元幾何で高品質な画像を生成する能力を示している。 本研究では,このNeRF-GANモデルを外科的に微調整し,実物体の高忠実度アニメーションを単一画像のみで実現するための普遍的手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T18:36:45Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Solving Inverse Problems with NerfGANs [88.24518907451868]
  我々は、NeRF型生成モデルを用いて、逆問題を解決するための新しいフレームワークを提案する。 遅延空間を鼻で最適化することは、アーティファクトや、新しいビューレンダリングに繋がることを示す。 本研究では,より優れた3次元表面を得るための新しい放射場正規化手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T17:56:58Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。