論文の概要: Single-View View Synthesis with Self-Rectified Pseudo-Stereo

• arxiv url: http://arxiv.org/abs/2304.09527v1
• Date: Wed, 19 Apr 2023 09:36:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 15:00:45.211851
• Title: Single-View View Synthesis with Self-Rectified Pseudo-Stereo
• Title（参考訳）: Pseudo-Stereoを用いた単視点ビュー合成
• Authors: Zhou Yang, Wu Hanjie, Liu Wenxi, Xiong Zheng, Qin Jing, He Shengfeng
• Abstract要約: 疑似ステレオ視点を生成する前に、信頼性と明示的なステレオを利用する。 本稿では,自己修正ステレオ合成法を提案する。 本手法は,最先端の単一ビュービュー合成法およびステレオ合成法より優れる。
• 参考スコア（独自算出の注目度）: 1.575191118602581
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthesizing novel views from a single view image is a highly ill-posed problem. We discover an effective solution to reduce the learning ambiguity by expanding the single-view view synthesis problem to a multi-view setting. Specifically, we leverage the reliable and explicit stereo prior to generate a pseudo-stereo viewpoint, which serves as an auxiliary input to construct the 3D space. In this way, the challenging novel view synthesis process is decoupled into two simpler problems of stereo synthesis and 3D reconstruction. In order to synthesize a structurally correct and detail-preserved stereo image, we propose a self-rectified stereo synthesis to amend erroneous regions in an identify-rectify manner. Hard-to-train and incorrect warping samples are first discovered by two strategies, 1) pruning the network to reveal low-confident predictions; and 2) bidirectionally matching between stereo images to allow the discovery of improper mapping. These regions are then inpainted to form the final pseudo-stereo. With the aid of this extra input, a preferable 3D reconstruction can be easily obtained, and our method can work with arbitrary 3D representations. Extensive experiments show that our method outperforms state-of-the-art single-view view synthesis methods and stereo synthesis methods.
• Abstract（参考訳）: 単一のビューイメージから新しいビューを合成することは、非常に不適切な問題である。 シングルビュービュー合成問題を多視点設定に拡張することにより,学習のあいまいさを軽減する効果的な解を見出す。 具体的には、3次元空間を構成する補助入力として機能する擬似ステレオ視点を生成する前に、信頼性と明示的なステレオを利用する。 このようにして、挑戦的な新しいビュー合成プロセスは、ステレオ合成と3次元再構成の2つのより単純な問題に分解される。 構造的に正確で精細に保存されたステレオ画像を合成するために,誤り領域を識別・再現する自己再現ステレオ合成を提案する。 トレーニングが困難で不正確なワーピングサンプルが2つの戦略によって最初に発見された。 1)低信頼の予測を明らかにするためにネットワークを切断し, 2) ステレオ画像間の双方向マッチングにより不適切なマッピングの発見が可能となる。 これらの領域は、最後に擬似ステレオを形成するために塗装される。 この余分な入力によって、好ましい3D再構成が容易に得られ、任意の3D表現で作業することができる。 広範な実験により,本手法は最先端の単視点映像合成法やステレオ合成法よりも優れていることが示された。

関連論文リスト

• FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
  FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。 ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-28T08:40:14Z)
• Generalizable Novel-View Synthesis using a Stereo Camera [21.548844864282994]
  本稿では,多視点ステレオカメラ画像を対象とした,最初の一般化可能なビュー合成手法を提案する。 高品質な幾何再構成のための新規ビュー合成にステレオマッチングを導入する。 実験により、StereoNeRFは、一般化可能なビュー合成において、従来のアプローチを超越していることが示された。
  論文  参考訳（メタデータ） (2024-04-21T05:39:44Z)
• Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
  本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。 スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。 対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-04-17T17:40:52Z)
• Generative Novel View Synthesis with 3D-Aware Diffusion Models [96.78397108732233]
  単一入力画像から3D対応の新規ビュー合成のための拡散モデルを提案する。 提案手法は既存の2次元拡散バックボーンを利用するが,重要な点として,幾何学的先行を3次元特徴体積の形で組み込む。 新たなビュー生成に加えて,本手法は3次元一貫性シーケンスを自己回帰的に合成する機能を備えている。
  論文  参考訳（メタデータ） (2023-04-05T17:15:47Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Stereo Unstructured Magnification: Multiple Homography Image for View Synthesis [72.09193030350396]
  立体非構造倍率と呼ばれる一対の画像から一定の回転数で視線合成の問題を考察する。 固定された正規度と距離を持つシーン平面の集合からなる,新しいマルチホモグラフィ画像表現を提案する。 角度に基づくコストを導出し, 正規形状ごとのブレンディングを導出する。
  論文  参考訳（メタデータ） (2022-04-01T01:39:28Z)
• Look, Evolve and Mold: Learning 3D Shape Manifold via Single-view Synthetic Data [32.54820023526409]
  LEMと呼ばれる単一視点3次元再構成のためのドメイン適応型ネットワークを提案し、自然シナリオに向けて一般化する。 いくつかのベンチマーク実験では,提案手法の有効性とロバスト性を示した。
  論文  参考訳（メタデータ） (2021-03-08T14:30:18Z)
• Semantic View Synthesis [56.47999473206778]
  我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として、合成シーンの自由視点レンダリングを生成する。 まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。 次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
  論文  参考訳（メタデータ） (2020-08-24T17:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。