論文の概要: Differentiable Rendering for Pose Estimation in Proximity Operations
- arxiv url: http://arxiv.org/abs/2212.12668v1
- Date: Sat, 24 Dec 2022 06:12:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 15:35:19.336979
- Title: Differentiable Rendering for Pose Estimation in Proximity Operations
- Title(参考訳): 近接操作におけるポーズ推定のための微分可能レンダリング
- Authors: Ramchander Rao Bhaskara and Roshan Thomas Eapen and Manoranjan Majji
- Abstract要約: 微分レンダリングは、レンダリングパラメータに関する画像レンダリング関数の微分を計算することを目的としている。
本稿では,6-DoFポーズ推定のための新しいアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 4.282159812965446
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Differentiable rendering aims to compute the derivative of the image
rendering function with respect to the rendering parameters. This paper
presents a novel algorithm for 6-DoF pose estimation through gradient-based
optimization using a differentiable rendering pipeline. We emphasize two key
contributions: (1) instead of solving the conventional 2D to 3D correspondence
problem and computing reprojection errors, images (rendered using the 3D model)
are compared only in the 2D feature space via sparse 2D feature
correspondences. (2) Instead of an analytical image formation model, we compute
an approximate local gradient of the rendering process through online learning.
The learning data consists of image features extracted from multi-viewpoint
renders at small perturbations in the pose neighborhood. The gradients are
propagated through the rendering pipeline for the 6-DoF pose estimation using
nonlinear least squares. This gradient-based optimization regresses directly
upon the pose parameters by aligning the 3D model to reproduce a reference
image shape. Using representative experiments, we demonstrate the application
of our approach to pose estimation in proximity operations.
- Abstract(参考訳): 微分可能レンダリングは、レンダリングパラメータに関するレンダリング関数の導出を計算することを目的としている。
本稿では、微分可能なレンダリングパイプラインを用いた勾配最適化による6-DoFポーズ推定の新しいアルゴリズムを提案する。
1)従来の2D-3D対応問題と再投影誤差を解く代わりに、(3Dモデルを用いてレンダリングした)画像はスパース2D特徴対応によって2D特徴空間でのみ比較される。
2) 解析的画像形成モデルの代わりに, オンライン学習によるレンダリングプロセスの局所的勾配を近似的に計算する。
学習データは、ポーズ近傍の小さな摂動で多視点レンダリングから抽出された画像特徴からなる。
勾配は6-DoFポーズ推定のためのレンダリングパイプラインを介して非線形最小二乗を用いて伝搬される。
この勾配に基づく最適化は、基準画像形状を再現するために3Dモデルを調整することで、ポーズパラメータに直接回帰する。
代表実験を用いて,近接動作におけるポーズ推定へのアプローチの適用を実証する。
関連論文リスト
- SketchSampler: Sketch-based 3D Reconstruction via View-dependent Depth
Sampling [75.957103837167]
1枚のスケッチ画像に基づいて3次元形状を再構成することは、スパースで不規則なスケッチと正規の高密度な3次元形状との間に大きな領域ギャップがあるため困難である。
既存の作品では、3D座標を直接予測するためにスケッチから抽出されたグローバルな特徴を活用しようとするが、通常は入力スケッチに忠実でない細部を失う。
論文 参考訳(メタデータ) (2022-08-14T16:37:51Z) - GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。
3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。
実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
論文 参考訳(メタデータ) (2022-06-18T16:58:49Z) - Adversarial Parametric Pose Prior [106.12437086990853]
我々は、SMPLパラメータを現実的なポーズを生成する値に制限する事前学習を行う。
得られた先行学習は実データ分布の多様性をカバーし、2次元キーポイントからの3次元再構成の最適化を容易にし、画像からの回帰に使用する場合のポーズ推定精度を向上することを示す。
論文 参考訳(メタデータ) (2021-12-08T10:05:32Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳(メタデータ) (2021-10-29T10:53:12Z) - Differentiable Rendering with Perturbed Optimizers [85.66675707599782]
2Dイメージプロジェクションから3Dシーンを推論することは、コンピュータビジョンにおける中核的な問題の一つだ。
我々の研究は、よく知られた微分可能な定式化とランダムなスムーズなレンダリングの関連性を強調している。
提案手法を3次元シーン再構成に適用し,その利点を6次元ポーズ推定と3次元メッシュ再構成の課題に適用した。
論文 参考訳(メタデータ) (2021-10-18T08:56:23Z) - To The Point: Correspondence-driven monocular 3D category reconstruction [39.811816510186475]
To The Point (TTP) は、弱い監督から学んだ2Dから3D対応を用いて、単一の画像から3Dオブジェクトを再構成する手法である。
我々は、CNNによるカメラポーズと非剛性変形の回帰を置き換え、より正確な3D再構成を得る。
論文 参考訳(メタデータ) (2021-06-10T11:21:14Z) - Using Adaptive Gradient for Texture Learning in Single-View 3D
Reconstruction [0.0]
3次元モデル再構築のための学習ベースのアプローチは、現代の応用によって注目を集めている。
本稿では,サンプリング画像のばらつきに基づいて予測座標の勾配を最適化し,新しいサンプリングアルゴリズムを提案する。
また,frechetインセプション距離(fid)を用いて学習における損失関数を形成し,レンダリング画像と入力画像とのギャップを橋渡しする。
論文 参考訳(メタデータ) (2021-04-29T07:52:54Z) - Geometric Correspondence Fields: Learned Differentiable Rendering for 3D
Pose Refinement in the Wild [96.09941542587865]
野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。
このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。
我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
論文 参考訳(メタデータ) (2020-07-17T12:34:38Z) - Shape from Projections via Differentiable Forward Projector for Computed
Tomography [4.304380400377787]
本稿では,3次元メッシュのフォワードモデルと最適化のギャップを埋める3次元メッシュの微分可能フォワードモデルを提案する。
提案した前方モデルを用いて,プロジェクションから直接3次元形状を再構成する。
単目的問題に対する実験結果から,提案手法はノイズシミュレーションデータ上で従来のボクセル法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2020-06-29T15:33:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。