論文の概要: SDFit: 3D Object Pose and Shape by Fitting a Morphable SDF to a Single Image

• arxiv url: http://arxiv.org/abs/2409.16178v1
• Date: Tue, 24 Sep 2024 15:22:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 05:27:07.018640
• Title: SDFit: 3D Object Pose and Shape by Fitting a Morphable SDF to a Single Image
• Title（参考訳）: SDFit:形態可能なSDFを1枚の画像に合わせることで3Dオブジェクトの空間と形状を計測する
• Authors: Dimitrije Antić, Sai Kumar Dwivedi, Shashank Tripathi, Theo Gevers, Dimitrios Tzionas,
• Abstract要約: 単一画像から3Dオブジェクトのポーズと形状を復元することに集中する。 最近の研究は、主に有限データセットからの学習に依存しているため、一般化に苦慮している。 SDFitと呼ばれる新しいフレームワークでこれらの制限に対処する。
• 参考スコア（独自算出の注目度）: 19.704369289729897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We focus on recovering 3D object pose and shape from single images. This is highly challenging due to strong (self-)occlusions, depth ambiguities, the enormous shape variance, and lack of 3D ground truth for natural images. Recent work relies mostly on learning from finite datasets, so it struggles generalizing, while it focuses mostly on the shape itself, largely ignoring the alignment with pixels. Moreover, it performs feed-forward inference, so it cannot refine estimates. We tackle these limitations with a novel framework, called SDFit. To this end, we make three key observations: (1) Learned signed-distance-function (SDF) models act as a strong morphable shape prior. (2) Foundational models embed 2D images and 3D shapes in a joint space, and (3) also infer rich features from images. SDFit exploits these as follows. First, it uses a category-level morphable SDF (mSDF) model, called DIT, to generate 3D shape hypotheses. This mSDF is initialized by querying OpenShape's latent space conditioned on the input image. Then, it computes 2D-to-3D correspondences, by extracting and matching features from the image and mSDF. Last, it fits the mSDF to the image in an render-and-compare fashion, to iteratively refine estimates. We evaluate SDFit on the Pix3D and Pascal3D+ datasets of real-world images. SDFit performs roughly on par with state-of-the-art learned methods, but, uniquely, requires no re-training. Thus, SDFit is promising for generalizing in the wild, paving the way for future research. Code will be released
• Abstract（参考訳）: 単一画像から3Dオブジェクトのポーズと形状を復元することに集中する。 これは、強い(自己の)隠蔽、深さの曖昧さ、巨大な形状のばらつき、そして自然画像に対する3D基底真理の欠如により、非常に困難である。 最近の研究は、主に有限データセットからの学習に依存しているため、一般化に苦慮する一方で、主に形状そのものに焦点を合わせ、主にピクセルとのアライメントを無視している。 さらに、フィードフォワード推論を行うため、見積もりを洗練できない。 SDFitと呼ばれる新しいフレームワークでこれらの制限に対処する。 この目的のために我々は,(1)SDF(Learred signed-distance-function)モデルが先行する強力な形状として機能する,という3つの重要な観察を行った。 2) 基礎モデルでは2次元画像と3次元形状を接合空間に埋め込み,(3) 画像からリッチな特徴を推定する。 SDFitは次のように利用している。 まず、DITと呼ばれるカテゴリレベルの変形可能なSDF(mSDF)モデルを使用して、3次元形状仮説を生成する。 このmSDFは、入力画像に条件付きOpenShapeの潜在空間をクエリすることで初期化される。 そして、画像とmSDFから特徴を抽出し、マッチングすることにより、2Dから3D対応を演算する。 最後に、mSDFを画像にレンダリング・アンド・コンパートリーな方法で適合させ、見積もりを反復的に洗練する。 現実世界の画像のPix3DとPascal3D+のデータセット上でSDFitを評価する。 SDFitは、最先端の学習手法とほぼ同等に動作しますが、ユニークなことに、再トレーニングは必要ありません。 そのため、SDFitは、今後の研究の道を開くことを約束している。 コードがリリースされる

関連論文リスト

• HOISDF: Constraining 3D Hand-Object Pose Estimation with Global Signed Distance Fields [96.04424738803667]
  HOISDFは手動ポーズ推定ネットワークである。 手とオブジェクトのSDFを利用して、完全な再構築ボリュームに対してグローバルで暗黙的な表現を提供する。 そこで, HOISDFは手動ポーズ推定ベンチマークにおいて, 最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-26T22:48:37Z)
• WildFusion: Learning 3D-Aware Latent Diffusion Models in View Space [77.92350895927922]
  潜在拡散モデル(LDM)に基づく3次元画像合成の新しいアプローチであるWildFusionを提案する。 我々の3D対応LCMは、マルチビュー画像や3D幾何学を直接監督することなく訓練されている。 これにより、スケーラブルな3D認識画像合成と、Wild画像データから3Dコンテンツを作成するための有望な研究道が開かれる。
  論文  参考訳（メタデータ） (2023-11-22T18:25:51Z)
• DDF-HO: Hand-Held Object Reconstruction via Conditional Directed Distance Field [82.81337273685176]
  DDF-HOは、DDF(Directed Distance Field)を形状表現として活用する新しいアプローチである。 我々はランダムに複数の光線をサンプリングし、新しい2D線に基づく特徴集約方式を導入することにより、局所的・大域的特徴を収集する。 合成および実世界のデータセットの実験は、DFF-HOが全てのベースライン手法を大きなマージンで一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-08-16T09:06:32Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• SDF-3DGAN: A 3D Object Generative Method Based on Implicit Signed Distance Function [10.199463450025391]
  我々は3次元オブジェクト生成と3次元認識画像タスクのための新しい手法 SDF-3DGAN を開発した。 宇宙空間における3次元物体の高画質表現にSDFを適用し,高効率かつ高精度な新しいSDFニューラルを設計する。
  論文  参考訳（メタデータ） (2023-03-13T02:48:54Z)
• RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
  単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。 大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。 本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-10T19:40:26Z)
• Diffusion-SDF: Text-to-Shape via Voxelized Diffusion [90.85011923436593]
  本研究では,テキスト・ツー・シェイプ合成の課題に対して,Diffusion-SDFと呼ばれる新しい3次元モデリングフレームワークを提案する。 本研究では,Diffusion-SDFが与えられたテキスト記述によく適合する高品質な3次元形状と,より多様化した3次元形状の両方を生成することを示す。
  論文  参考訳（メタデータ） (2022-12-06T19:46:47Z)
• NeuralODF: Learning Omnidirectional Distance Fields for 3D Shape Representation [7.208066405543874]
  ビジュアルコンピューティングでは、3D幾何はメッシュ、点雲、ボクセルグリッド、レベルセット、深度画像など様々な形で表現される。 オムニ距離場(Omni Distance Fields, ODFs)は, 物体表面の深度を任意の3次元位置から任意の視方向から保存することにより, 形状を符号化する新しい3次元形状表現である。
  論文  参考訳（メタデータ） (2022-06-12T20:59:26Z)
• FIRe: Fast Inverse Rendering using Directional and Signed Distance Functions [97.5540646069663]
  指向性距離関数(DDF)と呼ばれる新しいニューラルシーン表現を導入する。 DDFは単位球上で定義され、任意の方向に沿って表面までの距離を予測する。 提案手法はDDFに基づいて,提案した深度マップから3次元形状を再構成する高速アルゴリズム (FIRe) を提案する。
  論文  参考訳（メタデータ） (2022-03-30T13:24:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。