論文の概要: Single-View View Synthesis with Multiplane Images
- arxiv url: http://arxiv.org/abs/2004.11364v1
- Date: Thu, 23 Apr 2020 17:59:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-10 10:13:49.527992
- Title: Single-View View Synthesis with Multiplane Images
- Title（参考訳）: マルチプレーン画像を用いた単視点ビュー合成
- Authors: Richard Tucker and Noah Snavely
- Abstract要約: 深層学習を応用して、既知の視点で2つ以上の入力画像が与えられた多面体画像を生成する。
本手法は,単一画像入力から直接多面体画像を予測することを学習する。
さらに、適切な深度マップを生成し、背景層の前景オブジェクトのエッジの背後にあるコンテンツを埋める。
- 参考スコア（独自算出の注目度）: 64.46556656209769
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A recent strand of work in view synthesis uses deep learning to generate
multiplane images (a camera-centric, layered 3D representation) given two or
more input images at known viewpoints. We apply this representation to
single-view view synthesis, a problem which is more challenging but has
potentially much wider application. Our method learns to predict a multiplane
image directly from a single image input, and we introduce scale-invariant view
synthesis for supervision, enabling us to train on online video. We show this
approach is applicable to several different datasets, that it additionally
generates reasonable depth maps, and that it learns to fill in content behind
the edges of foreground objects in background layers.
Project page at https://single-view-mpi.github.io/.
- Abstract（参考訳）: 視覚合成における最近の研究は、ディープラーニングを使用して、既知の視点で2つ以上の入力画像が与えられたマルチプレーン画像(カメラ中心、3d表現)を生成する。
我々はこの表現を単一ビュービュー合成に適用する。
本手法は,単一画像入力から直接多面画像を予測することを学び,監視のためのスケール不変ビュー合成を導入し,オンラインビデオの学習を可能にする。
このアプローチは、いくつかの異なるデータセットに適用可能であり、適度な深度マップを生成し、背景レイヤのフォアグラウンドオブジェクトのエッジの背後にあるコンテンツを埋め込むことを学ぶ。
プロジェクトページ: https://single-view-mpi.github.io/
関連論文リスト
- One-Shot Neural Fields for 3D Object Understanding [112.32255680399399]
ロボット工学のための統一的でコンパクトなシーン表現を提案する。
シーン内の各オブジェクトは、幾何学と外観をキャプチャする潜在コードによって描写される。
この表現は、新しいビューレンダリングや3D再構成、安定した把握予測といった様々なタスクのためにデコードできる。
論文 参考訳（メタデータ） (2022-10-21T17:33:14Z) - S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a
Single Viewpoint [22.42916940712357]
本手法は,シーンの3次元形状とBRDFを表現するために,ニューラルリフレクタンス場を学習する。
本手法は,一視点画像からシーンの可視部分と可視部分の両方を含む3次元形状を復元することができる。
新規ビュー合成やリライトといったアプリケーションをサポートする。
論文 参考訳（メタデータ） (2022-10-17T11:01:52Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳（メタデータ） (2022-07-12T17:52:04Z) - Learning Implicit 3D Representations of Dressed Humans from Sparse Views [31.584157304372425]
本論文では,スパースなカメラビューから服姿の人間の暗黙的な3D表現を学習するエンドツーエンドのアプローチを提案する。
実験では, 提案手法が, 定量的・定性的に標準データに対する技術水準を上回っていることを示した。
論文 参考訳（メタデータ） (2021-04-16T10:20:26Z) - IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。
レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
論文 参考訳（メタデータ） (2021-02-25T18:56:21Z) - Worldsheet: Wrapping the World in a 3D Sheet for View Synthesis from a
Single Image [26.770326254205223]
本稿では,単一のRGB画像のみを入力として,新しいビュー合成手法であるWorldsheetを提案する。
Worldsheetは、複数のデータセットにまたがるシングルイメージビュー合成において、常に最先端の手法を上回ります。
論文 参考訳（メタデータ） (2020-12-17T18:59:52Z) - Semantic View Synthesis [56.47999473206778]
我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として、合成シーンの自由視点レンダリングを生成する。
まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。
次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
論文 参考訳（メタデータ） (2020-08-24T17:59:46Z) - Generative View Synthesis: From Single-view Semantics to Novel-view
Images [38.7873192939574]
ジェネレーティブビュー合成(GVS)は、単一のセマンティックマップが与えられたシーンの複数のフォトリアリスティックビューを合成することができる。
まず、入力された2Dセマンティックマップを、特徴空間内のシーンの3D層表現に持ち上げる。
次に、レイヤー化された特徴を対象のビューに投影し、最終的なノベルビュー画像を生成する。
論文 参考訳（メタデータ） (2020-08-20T17:48:16Z) - Free View Synthesis [100.86844680362196]
本稿では,シーンの周囲に自由に分布する入力画像から新規なビュー合成手法を提案する。
本手法は,入力ビューの規則的な配置に依存しず,シーンを通して自由なカメラ運動のための画像の合成が可能であり,制約のない幾何学的レイアウトの一般的な場面で機能する。
論文 参考訳（メタデータ） (2020-08-12T18:16:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。