論文の概要: Look, Evolve and Mold: Learning 3D Shape Manifold via Single-view
Synthetic Data
- arxiv url: http://arxiv.org/abs/2103.04789v1
- Date: Mon, 8 Mar 2021 14:30:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-09 22:05:09.575169
- Title: Look, Evolve and Mold: Learning 3D Shape Manifold via Single-view
Synthetic Data
- Title(参考訳): ルック・エボリューヴ・アンド・モールド: シングルビュー合成データによる3D図形マニホールドの学習
- Authors: Qianyu Feng, Yawei Luo, Keyang Luo, Yi Yang
- Abstract要約: LEMと呼ばれる単一視点3次元再構成のためのドメイン適応型ネットワークを提案し、自然シナリオに向けて一般化する。
いくつかのベンチマーク実験では,提案手法の有効性とロバスト性を示した。
- 参考スコア(独自算出の注目度): 32.54820023526409
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With daily observation and prior knowledge, it is easy for us human to infer
the stereo structure via a single view. However, to equip the deep models with
such ability usually requires abundant supervision. It is promising that
without the elaborated 3D annotation, we can simply profit from the synthetic
data, where pairwise ground-truth is easy to access. Nevertheless, the domain
gap is not neglectable considering the variant texture, shape and context. To
overcome these difficulties, we propose a domain-adaptive network for
single-view 3D reconstruction, dubbed LEM, to generalize towards the natural
scenario by fulfilling several aspects: (1) Look: incorporating spatial
structure from the single view to enhance the representation; (2) Evolve:
leveraging the semantic information with unsupervised contrastive mapping
recurring to the shape priors; (3) Mold: transforming into the desired stereo
manifold with discernment and semantic knowledge. Extensive experiments on
several benchmarks demonstrate the effectiveness and robustness of the proposed
method, LEM, in learning the 3D shape manifold from the synthetic data via a
single-view.
- Abstract(参考訳): 日常的な観察と事前の知識により、人間が単一の視点でステレオ構造を推測することは容易である。
しかし、深層モデルにそのような能力を与えるには、通常十分な監督が必要である。
精巧な3Dアノテーションがなければ、ペアワイズで接地が簡単にアクセスできる合成データから利益を得ることができると期待しています。
それでも、異なるテクスチャ、形状、コンテキストを考えると、ドメインギャップは無視できない。
これらの難しさを克服するために, lem と呼ばれる単視点3次元再構成のためのドメイン適応ネットワークを提案し, 自然シナリオを一般化する。(1) 外観: 単一視点から空間構造を取り込んで表現を強化する, (2) 進化: 教師なしのコントラストマッピングによる意味情報を活用する, (3) 型: 認識と意味知識をもって所望のステレオ多様体へ変換する。
いくつかのベンチマークにおいて, 合成データから3次元形状多様体を学習する上で, 提案手法であるLEMの有効性とロバスト性を示す実験を行った。
関連論文リスト
- Single-View View Synthesis with Self-Rectified Pseudo-Stereo [49.946151180828465]
疑似ステレオ視点を生成する前に、信頼性と明示的なステレオを利用する。
本稿では,自己修正ステレオ合成法を提案する。
本手法は,最先端の単一ビュービュー合成法およびステレオ合成法より優れる。
論文 参考訳(メタデータ) (2023-04-19T09:36:13Z) - Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。
スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。
対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
論文 参考訳(メタデータ) (2023-04-17T17:40:52Z) - 3D-LatentMapper: View Agnostic Single-View Reconstruction of 3D Shapes [0.0]
視覚変換器(ViT)の中間潜時空間と共同画像テキスト表現モデル(CLIP)を高速かつ効率的なシングルビュー再構成(SVR)に活用する新しいフレームワークを提案する。
本研究ではShapeNetV2データセットを用いてSOTA法との比較実験を行い,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-12-05T11:45:26Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳(メタデータ) (2022-07-12T17:52:04Z) - Spatio-temporal Self-Supervised Representation Learning for 3D Point
Clouds [96.9027094562957]
ラベルのないタスクから学習できる時間的表現学習フレームワークを導入する。
幼児が野生の視覚的データからどのように学ぶかに触発され、3Dデータから派生した豊かな手がかりを探索する。
STRLは3Dポイントクラウドシーケンスから2つの時間的関連フレームを入力として、空間データ拡張で変換し、不変表現を自己指導的に学習する。
論文 参考訳(メタデータ) (2021-09-01T04:17:11Z) - Discovering 3D Parts from Image Collections [98.16987919686709]
本稿では,2次元画像収集のみによる3次元部分発見の問題に対処する。
そこで我々は,手動で注釈付部品を監督する代わりに,自己監督型アプローチを提案する。
私たちのキーとなる洞察は、前もって新しい部分の形状を学習することで、各部分は、単純な幾何学を持つように制約されたまま、忠実にオブジェクトの形状に適合できるようにします。
論文 参考訳(メタデータ) (2021-07-28T20:29:16Z) - AUTO3D: Novel view synthesis through unsupervisely learned variational
viewpoint and global 3D representation [27.163052958878776]
本稿では,ポーズ・インスペクションを伴わない単一の2次元画像から学習に基づく新規ビュー・シンセサイザーを目標とする。
本研究では,学習済みの相対的目的/回転と暗黙的グローバルな3次元表現を両立させるために,エンドツーエンドの訓練可能な条件変分フレームワークを構築した。
本システムでは,3次元再構成を明示的に行うことなく,暗黙的に3次元理解を行うことができる。
論文 参考訳(メタデータ) (2020-07-13T18:51:27Z) - 3D Shape Reconstruction from Vision and Touch [62.59044232597045]
3次元形状再構成では、視覚と触覚の相補的な融合はほとんど未解明のままである。
本稿では,ロボットハンドと多数の3Dオブジェクトの相互作用から,触覚と視覚信号のシミュレーションデータセットを提案する。
論文 参考訳(メタデータ) (2020-07-07T20:20:33Z) - Convolutional Occupancy Networks [88.48287716452002]
本稿では,オブジェクトと3Dシーンの詳細な再構築のための,より柔軟な暗黙的表現である畳み込み機能ネットワークを提案する。
畳み込みエンコーダと暗黙の占有デコーダを組み合わせることで、帰納的バイアスが組み込まれ、3次元空間における構造的推論が可能となる。
実験により,本手法は単一物体の微細な3次元再構成,大規模屋内シーンへのスケール,合成データから実データへの一般化を可能にした。
論文 参考訳(メタデータ) (2020-03-10T10:17:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。