論文の概要: Novel View Synthesis from a Single Image via Unsupervised learning

• arxiv url: http://arxiv.org/abs/2110.15569v1
• Date: Fri, 29 Oct 2021 06:32:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 14:33:40.891386
• Title: Novel View Synthesis from a Single Image via Unsupervised learning
• Title（参考訳）: 教師なし学習による単一画像からの新規ビュー合成
• Authors: Bingzheng Liu, Jianjun Lei, Bo Peng, Chuanbo Yu, Wanqing Li, Nam Ling
• Abstract要約: 本研究では,そのような画素変換を単一ソース視点から学習するための教師なしネットワークを提案する。 学習した変換により、未知のポーズの単一のソース視点画像から新しいビューを合成することができる。
• 参考スコア（独自算出の注目度）: 27.639536023956122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: View synthesis aims to generate novel views from one or more given source views. Although existing methods have achieved promising performance, they usually require paired views of different poses to learn a pixel transformation. This paper proposes an unsupervised network to learn such a pixel transformation from a single source viewpoint. In particular, the network consists of a token transformation module (TTM) that facilities the transformation of the features extracted from a source viewpoint image into an intrinsic representation with respect to a pre-defined reference pose and a view generation module (VGM) that synthesizes an arbitrary view from the representation. The learned transformation allows us to synthesize a novel view from any single source viewpoint image of unknown pose. Experiments on the widely used view synthesis datasets have demonstrated that the proposed network is able to produce comparable results to the state-of-the-art methods despite the fact that learning is unsupervised and only a single source viewpoint image is required for generating a novel view. The code will be available soon.
• Abstract（参考訳）: ビュー合成は、1つ以上のソースビューから新しいビューを生成することを目的としている。 既存の手法は有望な性能を達成したが、通常はピクセル変換を学ぶために異なるポーズのペアビューを必要とする。 本稿では,そのような画素変換を単一ソースから学ぶための教師なしネットワークを提案する。 特に、ネットワークは、ソース視点画像から抽出された特徴を、予め定義された参照ポーズに対して固有の表現に変換するためのトークン変換モジュール(TTM)と、その表現から任意のビューを合成するビュー生成モジュール(VGM)とから構成される。 学習した変換により、未知のポーズの単一のソース視点画像から新しいビューを合成することができる。 広範に利用されているビュー合成データセットの実験では、学習が教師なしであり、新しいビューを生成するには単一のソース視点画像のみが必要であるにもかかわらず、提案ネットワークは最先端の手法に匹敵する結果が得られることを示した。 コードはもうすぐ入手できる。

関連論文リスト

• FSViewFusion: Few-Shots View Generation of Novel Objects [75.81872204650807]
  本研究では,3次元前処理を伴わないビュー合成のための事前訓練された安定拡散モデルを提案する。 具体的には,Dreamboothという画像モデルを用いたパーソナライズされたテキストに基づく手法を提案する。 ビューの概念は、ビューが学習された元のオブジェクトの識別に関係なく、アンタングル化され、新しいオブジェクトに転送可能であることを確認します。
  論文  参考訳（メタデータ） (2024-03-11T02:59:30Z)
• UpFusion: Novel View Diffusion from Unposed Sparse View Observations [66.36092764694502]
  UpFusionは、参照画像のスパースセットが与えられたオブジェクトに対して、新しいビュー合成と3D表現を推論することができる。 本研究では,この機構により,付加された(未提示)画像の合成品質を向上しつつ,高忠実度な新規ビューを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-12-11T18:59:55Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Self-Supervised Visibility Learning for Novel View Synthesis [79.53158728483375]
  従来のレンダリング方法はシーン形状を推定し、2つの別々のステップで新しいビューを合成します。 エラー伝搬問題を排除するために,エンドツーエンドのNVSフレームワークを提案する。 当社のネットワークはエンドツーエンドのセルフ監視方式でトレーニングされており、ビュー合成におけるエラーの蓄積を大幅に軽減します。
  論文  参考訳（メタデータ） (2021-03-29T08:11:25Z)
• Unsupervised Novel View Synthesis from a Single Image [47.37120753568042]
  単一の画像からの新しいビュー合成は、オブジェクトの単一入力画像から新しいビューを生成することを目的としている。 本研究の目的は、新しいビュー合成のための条件付き生成モデルの訓練を、完全に教師なしの方法で行えるようにすることで、この仮定を緩和することである。
  論文  参考訳（メタデータ） (2021-02-05T16:56:04Z)
• Deep View Synthesis via Self-Consistent Generative Network [41.34461086700849]
  ビュー合成は、2つ以上のカメラが異なる位置で捉えた一連のビューから目に見えないビューを生成することを目的としている。 この問題に対処するために、ほとんどの既存の方法はピクセルに一致する幾何学的情報を利用しようとします。 本稿では,幾何学的情報を明示的に活用することなく,新たなビューを合成する自己持続生成ネットワーク(SCGN)を提案する。
  論文  参考訳（メタデータ） (2021-01-19T10:56:00Z)
• AUTO3D: Novel view synthesis through unsupervisely learned variational viewpoint and global 3D representation [27.163052958878776]
  本稿では,ポーズ・インスペクションを伴わない単一の2次元画像から学習に基づく新規ビュー・シンセサイザーを目標とする。 本研究では,学習済みの相対的目的/回転と暗黙的グローバルな3次元表現を両立させるために,エンドツーエンドの訓練可能な条件変分フレームワークを構築した。 本システムでは,3次元再構成を明示的に行うことなく,暗黙的に3次元理解を行うことができる。
  論文  参考訳（メタデータ） (2020-07-13T18:51:27Z)
• Single-View View Synthesis with Multiplane Images [64.46556656209769]
  深層学習を応用して、既知の視点で2つ以上の入力画像が与えられた多面体画像を生成する。 本手法は,単一画像入力から直接多面体画像を予測することを学習する。 さらに、適切な深度マップを生成し、背景層の前景オブジェクトのエッジの背後にあるコンテンツを埋める。
  論文  参考訳（メタデータ） (2020-04-23T17:59:19Z)
• Sequential View Synthesis with Transformer [13.200139959163574]
  学習した表現に基づいて、ターゲットビューを含む画像シーケンスを予測するシーケンシャルレンダリングデコーダを導入する。 我々は、様々な挑戦的なデータセットでモデルを評価し、モデルが一貫性のある予測を与えるだけでなく、微調整のための再トレーニングも必要としないことを示した。
  論文  参考訳（メタデータ） (2020-04-09T14:15:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。