論文の概要: Look, Evolve and Mold: Learning 3D Shape Manifold via Single-view Synthetic Data

• arxiv url: http://arxiv.org/abs/2103.04789v1
• Date: Mon, 8 Mar 2021 14:30:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-09 22:05:09.575169
• Title: Look, Evolve and Mold: Learning 3D Shape Manifold via Single-view Synthetic Data
• Title（参考訳）: ルック・エボリューヴ・アンド・モールド: シングルビュー合成データによる3D図形マニホールドの学習
• Authors: Qianyu Feng, Yawei Luo, Keyang Luo, Yi Yang
• Abstract要約: LEMと呼ばれる単一視点3次元再構成のためのドメイン適応型ネットワークを提案し、自然シナリオに向けて一般化する。 いくつかのベンチマーク実験では,提案手法の有効性とロバスト性を示した。
• 参考スコア（独自算出の注目度）: 32.54820023526409
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With daily observation and prior knowledge, it is easy for us human to infer the stereo structure via a single view. However, to equip the deep models with such ability usually requires abundant supervision. It is promising that without the elaborated 3D annotation, we can simply profit from the synthetic data, where pairwise ground-truth is easy to access. Nevertheless, the domain gap is not neglectable considering the variant texture, shape and context. To overcome these difficulties, we propose a domain-adaptive network for single-view 3D reconstruction, dubbed LEM, to generalize towards the natural scenario by fulfilling several aspects: (1) Look: incorporating spatial structure from the single view to enhance the representation; (2) Evolve: leveraging the semantic information with unsupervised contrastive mapping recurring to the shape priors; (3) Mold: transforming into the desired stereo manifold with discernment and semantic knowledge. Extensive experiments on several benchmarks demonstrate the effectiveness and robustness of the proposed method, LEM, in learning the 3D shape manifold from the synthetic data via a single-view.
• Abstract（参考訳）: 日常的な観察と事前の知識により、人間が単一の視点でステレオ構造を推測することは容易である。 しかし、深層モデルにそのような能力を与えるには、通常十分な監督が必要である。 精巧な3Dアノテーションがなければ、ペアワイズで接地が簡単にアクセスできる合成データから利益を得ることができると期待しています。 それでも、異なるテクスチャ、形状、コンテキストを考えると、ドメインギャップは無視できない。 これらの難しさを克服するために, lem と呼ばれる単視点3次元再構成のためのドメイン適応ネットワークを提案し, 自然シナリオを一般化する。(1) 外観: 単一視点から空間構造を取り込んで表現を強化する, (2) 進化: 教師なしのコントラストマッピングによる意味情報を活用する, (3) 型: 認識と意味知識をもって所望のステレオ多様体へ変換する。 いくつかのベンチマークにおいて, 合成データから3次元形状多様体を学習する上で, 提案手法であるLEMの有効性とロバスト性を示す実験を行った。

関連論文リスト

• DiHuR: Diffusion-Guided Generalizable Human Reconstruction [51.31232435994026]
  一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。 提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
  論文  参考訳（メタデータ） (2024-11-16T03:52:23Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Single-View View Synthesis with Self-Rectified Pseudo-Stereo [49.946151180828465]
  疑似ステレオ視点を生成する前に、信頼性と明示的なステレオを利用する。 本稿では,自己修正ステレオ合成法を提案する。 本手法は,最先端の単一ビュービュー合成法およびステレオ合成法より優れる。
  論文  参考訳（メタデータ） (2023-04-19T09:36:13Z)
• 3D-LatentMapper: View Agnostic Single-View Reconstruction of 3D Shapes [0.0]
  視覚変換器(ViT)の中間潜時空間と共同画像テキスト表現モデル(CLIP)を高速かつ効率的なシングルビュー再構成(SVR)に活用する新しいフレームワークを提案する。 本研究ではShapeNetV2データセットを用いてSOTA法との比較実験を行い,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-12-05T11:45:26Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Discovering 3D Parts from Image Collections [98.16987919686709]
  本稿では,2次元画像収集のみによる3次元部分発見の問題に対処する。 そこで我々は,手動で注釈付部品を監督する代わりに,自己監督型アプローチを提案する。 私たちのキーとなる洞察は、前もって新しい部分の形状を学習することで、各部分は、単純な幾何学を持つように制約されたまま、忠実にオブジェクトの形状に適合できるようにします。
  論文  参考訳（メタデータ） (2021-07-28T20:29:16Z)
• 3D Shape Reconstruction from Vision and Touch [62.59044232597045]
  3次元形状再構成では、視覚と触覚の相補的な融合はほとんど未解明のままである。 本稿では,ロボットハンドと多数の3Dオブジェクトの相互作用から,触覚と視覚信号のシミュレーションデータセットを提案する。
  論文  参考訳（メタデータ） (2020-07-07T20:20:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。