論文の概要: Bridging Implicit and Explicit Geometric Transformations for
Single-Image View Synthesis
- arxiv url: http://arxiv.org/abs/2209.07105v1
- Date: Thu, 15 Sep 2022 07:35:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-16 11:58:06.068826
- Title: Bridging Implicit and Explicit Geometric Transformations for
Single-Image View Synthesis
- Title（参考訳）: 単一画像ビュー合成のためのブリッジインプシットと明示的幾何学変換
- Authors: Byeongjun Park, Hyojun Go, Changick Kim
- Abstract要約: 本稿では,シーソー問題を緩和するための単一画像ビュー合成フレームワークを提案する。
露光的手法が再投影されたピクセルや暗示的手法をよく保存する特性に触発され,損失関数が導入された。
我々の損失関数は、明示的特徴が暗黙的特徴の再投影領域を改善し、暗黙的特徴が明示的特徴のアウト・オブ・ビュー領域を改善することを促進します。
- 参考スコア（独自算出の注目度）: 23.3281323964038
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Creating novel views from a single image has achieved tremendous strides with
advanced autoregressive models. Although recent methods generate high-quality
novel views, synthesizing with only one explicit or implicit 3D geometry has a
trade-off between two objectives that we call the ``seesaw'' problem: 1)
preserving reprojected contents and 2) completing realistic out-of-view
regions. Also, autoregressive models require a considerable computational cost.
In this paper, we propose a single-image view synthesis framework for
mitigating the seesaw problem. The proposed model is an efficient
non-autoregressive model with implicit and explicit renderers. Motivated by
characteristics that explicit methods well preserve reprojected pixels and
implicit methods complete realistic out-of-view region, we introduce a loss
function to complement two renderers. Our loss function promotes that explicit
features improve the reprojected area of implicit features and implicit
features improve the out-of-view area of explicit features. With the proposed
architecture and loss function, we can alleviate the seesaw problem,
outperforming autoregressive-based state-of-the-art methods and generating an
image $\approx$100 times faster. We validate the efficiency and effectiveness
of our method with experiments on RealEstate10K and ACID datasets.
- Abstract（参考訳）: 単一の画像から新しいビューを作成することは、高度な自己回帰モデルによって大きな進歩を遂げた。
最近の手法は高品質のノベルビューを生成するが、1つの明示的または暗黙的な3dジオメトリで合成することは、2つの目的の間に「シーソー」問題と呼ばれるトレードオフを持っている。
1)再企画内容の保存、及び
2)現実的なアウトオブビュー領域を完成させる。
また、自己回帰モデルは相当な計算コストを必要とする。
本稿では,シーソー問題を軽減するための単一画像合成フレームワークを提案する。
提案モデルは、暗黙的および明示的なレンダラを持つ効率的な非自己回帰モデルである。
明示的なメソッドが再投影されたピクセルと暗黙的なメソッドをうまく保存する特性に動機づけられ,2つのレンダラを補完するロス関数を導入する。
我々の損失関数は、明示的特徴が暗黙的特徴の再投影領域を改善し、暗黙的特徴が明示的特徴のアウト・オブ・ビュー領域を改善することを促進します。
提案したアーキテクチャと損失関数により、シーソー問題を緩和し、自己回帰に基づく最先端の手法より優れ、画像が$\approx$100倍高速になる。
提案手法の有効性をRealEstate10KとACIDデータセットを用いて検証した。
関連論文リスト
- GAURA: Generalizable Approach for Unified Restoration and Rendering of Arbitrary Views [28.47730275628715]
本稿では,いくつかの劣化条件下で高忠実性新規ビュー合成が可能な一般化可能なニューラルレンダリング手法を提案する。
我々の手法であるGAURAは学習ベースであり、テスト時間シーン固有の最適化を必要としない。
論文 参考訳（メタデータ） (2024-07-11T06:44:37Z) - Zero-to-Hero: Enhancing Zero-Shot Novel View Synthesis via Attention Map Filtering [16.382098950820822]
我々は、注目マップを操作することでビュー合成を強化する新しいテストタイムアプローチであるZero-to-Heroを提案する。
我々は、ソースビューからの情報を統合するために自己認識機構を変更し、形状歪みを低減する。
結果は、分散オブジェクトの多様なセットで検証された、忠実性と一貫性の大幅な改善を示す。
論文 参考訳（メタデータ） (2024-05-29T00:58:22Z) - Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。
視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。
本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
論文 参考訳（メタデータ） (2023-11-30T10:36:19Z) - NeRFInvertor: High Fidelity NeRF-GAN Inversion for Single-shot Real
Image Animation [66.0838349951456]
Nerfベースの生成モデルは、一貫した3次元幾何で高品質な画像を生成する能力を示している。
本研究では,このNeRF-GANモデルを外科的に微調整し,実物体の高忠実度アニメーションを単一画像のみで実現するための普遍的手法を提案する。
論文 参考訳（メタデータ） (2022-11-30T18:36:45Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳（メタデータ） (2022-07-12T17:52:04Z) - Solving Inverse Problems with NerfGANs [88.24518907451868]
我々は、NeRF型生成モデルを用いて、逆問題を解決するための新しいフレームワークを提案する。
遅延空間を鼻で最適化することは、アーティファクトや、新しいビューレンダリングに繋がることを示す。
本研究では,より優れた3次元表面を得るための新しい放射場正規化手法を提案する。
論文 参考訳（メタデータ） (2021-12-16T17:56:58Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳（メタデータ） (2021-05-06T04:16:06Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳（メタデータ） (2020-06-29T12:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。