論文の概要: 3D Reconstruction of Novel Object Shapes from Single Images
- arxiv url: http://arxiv.org/abs/2006.07752v4
- Date: Wed, 1 Sep 2021 21:11:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 13:06:29.031010
- Title: 3D Reconstruction of Novel Object Shapes from Single Images
- Title(参考訳): 単一画像からの新しい物体形状の3次元再構成
- Authors: Anh Thai, Stefan Stojanov, Vijay Upadhya, James M. Rehg
- Abstract要約: 提案するSDFNetは,目に見える形状と見えない形状の最先端性能を実現する。
本研究は, 画像形状再構成の大規模評価を行った最初の試みである。
- 参考スコア(独自算出の注目度): 23.016517962380323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurately predicting the 3D shape of any arbitrary object in any pose from a
single image is a key goal of computer vision research. This is challenging as
it requires a model to learn a representation that can infer both the visible
and occluded portions of any object using a limited training set. A training
set that covers all possible object shapes is inherently infeasible. Such
learning-based approaches are inherently vulnerable to overfitting, and
successfully implementing them is a function of both the architecture design
and the training approach. We present an extensive investigation of factors
specific to architecture design, training, experiment design, and evaluation
that influence reconstruction performance and measurement. We show that our
proposed SDFNet achieves state-of-the-art performance on seen and unseen shapes
relative to existing methods GenRe and OccNet. We provide the first large-scale
evaluation of single image shape reconstruction to unseen objects. The source
code, data and trained models can be found on
https://github.com/rehg-lab/3DShapeGen.
- Abstract(参考訳): 1枚の画像から任意の物体の3次元形状を正確に予測することは、コンピュータビジョン研究の重要な目標である。
制限されたトレーニングセットを使用して、任意のオブジェクトの可視部分とオクルード部分の両方を推測できる表現をモデルが学習する必要があるため、これは難しい。
すべての可能なオブジェクト形状をカバーするトレーニングセットは、本質的に不可能である。
このような学習ベースのアプローチは本質的に過剰フィッティングに対して脆弱であり、それらをうまく実装することは、アーキテクチャ設計とトレーニングアプローチの両方の機能である。
本稿では,建築設計,トレーニング,実験設計,および復元性能および測定に影響を与える評価に特有の要因について詳細に検討する。
提案するSDFNetは,既存手法のGenReやOccNetと比較して,見た目や見えない形状の最先端性能を実現する。
未発見物体に対する単一画像形状再構成の大規模評価を初めて実施する。
ソースコード、データ、トレーニングされたモデルはhttps://github.com/rehg-lab/3DShapeGenで見ることができる。
関連論文リスト
- EasyHOI: Unleashing the Power of Large Models for Reconstructing Hand-Object Interactions in the Wild [79.71523320368388]
本研究の目的は,手動物体のインタラクションを単一視点画像から再構築することである。
まず、手ポーズとオブジェクト形状を推定する新しいパイプラインを設計する。
最初の再構築では、事前に誘導された最適化方式を採用する。
論文 参考訳(メタデータ) (2024-11-21T16:33:35Z) - Uncertainty-aware 3D Object-Level Mapping with Deep Shape Priors [15.34487368683311]
未知のオブジェクトに対して高品質なオブジェクトレベルマップを再構築するフレームワークを提案する。
提案手法では,複数のRGB-D画像を入力として,高密度な3次元形状と検出対象に対する9-DoFポーズを出力する。
2つの新たな損失関数を通して形状を伝播し不確実性を生じさせる確率的定式化を導出する。
論文 参考訳(メタデータ) (2023-09-17T00:48:19Z) - SADIR: Shape-Aware Diffusion Models for 3D Image Reconstruction [2.2954246824369218]
限られた2次元画像からの3次元画像再構成は、コンピュータビジョンと画像解析における長年にわたる課題である。
本研究では,これらの問題に対処する3次元画像再構成のための拡散モデルに基づく形状認識ネットワークSADIRを提案する。
論文 参考訳(メタデータ) (2023-09-06T19:30:22Z) - A Fusion of Variational Distribution Priors and Saliency Map Replay for Continual 3D Reconstruction [1.2289361708127877]
単一画像からの3次元物体形状の予測に焦点をあてた研究課題である。
このタスクは、形状の可視部分と隠蔽部分の両方を予測するために、重要なデータ取得を必要とする。
本稿では,従来のクラスを新しいクラスで学習した後でも合理的に再構築できる変分優先を用いたモデルの設計を目標とする,連続的な学習に基づく3D再構成手法を提案する。
論文 参考訳(メタデータ) (2023-08-17T06:48:55Z) - MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare [84.80956484848505]
MegaPoseは、トレーニング中に見えない新しいオブジェクトの6Dポーズを推定する方法である。
本稿では,新しいオブジェクトに適用可能なR&Compare戦略に基づく6次元ポーズリファインダを提案する。
第2に,合成レンダリングと同一物体の観察画像間のポーズ誤差をリファインダで補正できるか否かを分類するために訓練されたネットワークを利用する,粗いポーズ推定のための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-12-13T19:30:03Z) - Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。
本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。
我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
論文 参考訳(メタデータ) (2022-08-04T14:13:35Z) - Discovering 3D Parts from Image Collections [98.16987919686709]
本稿では,2次元画像収集のみによる3次元部分発見の問題に対処する。
そこで我々は,手動で注釈付部品を監督する代わりに,自己監督型アプローチを提案する。
私たちのキーとなる洞察は、前もって新しい部分の形状を学習することで、各部分は、単純な幾何学を持つように制約されたまま、忠実にオブジェクトの形状に適合できるようにします。
論文 参考訳(メタデータ) (2021-07-28T20:29:16Z) - From Points to Multi-Object 3D Reconstruction [71.17445805257196]
単一のRGB画像から複数の3Dオブジェクトを検出し再構成する方法を提案する。
キーポイント検出器は、オブジェクトを中心点としてローカライズし、9-DoF境界ボックスや3D形状を含む全てのオブジェクト特性を直接予測する。
提示されたアプローチは、軽量な再構築を単一ステージで実行し、リアルタイム能力を持ち、完全に微分可能で、エンドツーエンドのトレーナーブルである。
論文 参考訳(メタデータ) (2020-12-21T18:52:21Z) - Shape Prior Deformation for Categorical 6D Object Pose and Size
Estimation [62.618227434286]
RGB-D画像から見えないオブジェクトの6Dポーズとサイズを復元する新しい学習手法を提案する。
本研究では,事前学習したカテゴリ形状からの変形を明示的にモデル化することにより,3次元オブジェクトモデルを再構築するディープネットワークを提案する。
論文 参考訳(メタデータ) (2020-07-16T16:45:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。