論文の概要: Differentiable Rendering for Pose Estimation in Proximity Operations
- arxiv url: http://arxiv.org/abs/2212.12668v1
- Date: Sat, 24 Dec 2022 06:12:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 15:35:19.336979
- Title: Differentiable Rendering for Pose Estimation in Proximity Operations
- Title（参考訳）: 近接操作におけるポーズ推定のための微分可能レンダリング
- Authors: Ramchander Rao Bhaskara and Roshan Thomas Eapen and Manoranjan Majji
- Abstract要約: 微分レンダリングは、レンダリングパラメータに関する画像レンダリング関数の微分を計算することを目的としている。
本稿では,6-DoFポーズ推定のための新しいアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 4.282159812965446
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Differentiable rendering aims to compute the derivative of the image
rendering function with respect to the rendering parameters. This paper
presents a novel algorithm for 6-DoF pose estimation through gradient-based
optimization using a differentiable rendering pipeline. We emphasize two key
contributions: (1) instead of solving the conventional 2D to 3D correspondence
problem and computing reprojection errors, images (rendered using the 3D model)
are compared only in the 2D feature space via sparse 2D feature
correspondences. (2) Instead of an analytical image formation model, we compute
an approximate local gradient of the rendering process through online learning.
The learning data consists of image features extracted from multi-viewpoint
renders at small perturbations in the pose neighborhood. The gradients are
propagated through the rendering pipeline for the 6-DoF pose estimation using
nonlinear least squares. This gradient-based optimization regresses directly
upon the pose parameters by aligning the 3D model to reproduce a reference
image shape. Using representative experiments, we demonstrate the application
of our approach to pose estimation in proximity operations.
- Abstract（参考訳）: 微分可能レンダリングは、レンダリングパラメータに関するレンダリング関数の導出を計算することを目的としている。
本稿では、微分可能なレンダリングパイプラインを用いた勾配最適化による6-DoFポーズ推定の新しいアルゴリズムを提案する。
1)従来の2D-3D対応問題と再投影誤差を解く代わりに、(3Dモデルを用いてレンダリングした)画像はスパース2D特徴対応によって2D特徴空間でのみ比較される。
2) 解析的画像形成モデルの代わりに, オンライン学習によるレンダリングプロセスの局所的勾配を近似的に計算する。
学習データは、ポーズ近傍の小さな摂動で多視点レンダリングから抽出された画像特徴からなる。
勾配は6-DoFポーズ推定のためのレンダリングパイプラインを介して非線形最小二乗を用いて伝搬される。
この勾配に基づく最適化は、基準画像形状を再現するために3Dモデルを調整することで、ポーズパラメータに直接回帰する。
代表実験を用いて,近接動作におけるポーズ推定へのアプローチの適用を実証する。
関連論文リスト
- GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。
我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。
いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-11-18T08:18:44Z) - Towards Human-Level 3D Relative Pose Estimation: Generalizable, Training-Free, with Single Reference [62.99706119370521]
人間は、単一のクエリ参照イメージペアのみを与えられたラベル/トレーニングなしで、目に見えないオブジェクトの相対的なポーズを容易に推論することができる。
そこで,本研究では,RGB-D参照から2.5D形状のRGB-D参照,オフザシェルフ微分可能なRGB-D参照,DINOv2のような事前学習モデルからのセマンティックキューを用いた3D一般化可能な相対ポーズ推定手法を提案する。
論文 参考訳（メタデータ） (2024-06-26T16:01:10Z) - Personalized 3D Human Pose and Shape Refinement [19.082329060985455]
回帰に基づく手法は3次元人間のポーズと形状推定の分野を支配してきた。
本稿では,初期人間のモデル推定値と対応する画像との密接な対応性を構築することを提案する。
提案手法は画像モデルアライメントの改善だけでなく,3次元精度の向上にも寄与する。
論文 参考訳（メタデータ） (2024-03-18T10:13:53Z) - GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。
3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。
実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
論文 参考訳（メタデータ） (2022-06-18T16:58:49Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳（メタデータ） (2021-10-29T10:53:12Z) - Differentiable Rendering with Perturbed Optimizers [85.66675707599782]
2Dイメージプロジェクションから3Dシーンを推論することは、コンピュータビジョンにおける中核的な問題の一つだ。
我々の研究は、よく知られた微分可能な定式化とランダムなスムーズなレンダリングの関連性を強調している。
提案手法を3次元シーン再構成に適用し,その利点を6次元ポーズ推定と3次元メッシュ再構成の課題に適用した。
論文 参考訳（メタデータ） (2021-10-18T08:56:23Z) - Using Adaptive Gradient for Texture Learning in Single-View 3D
Reconstruction [0.0]
3次元モデル再構築のための学習ベースのアプローチは、現代の応用によって注目を集めている。
本稿では,サンプリング画像のばらつきに基づいて予測座標の勾配を最適化し,新しいサンプリングアルゴリズムを提案する。
また,frechetインセプション距離(fid)を用いて学習における損失関数を形成し,レンダリング画像と入力画像とのギャップを橋渡しする。
論文 参考訳（メタデータ） (2021-04-29T07:52:54Z) - Geometric Correspondence Fields: Learned Differentiable Rendering for 3D
Pose Refinement in the Wild [96.09941542587865]
野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。
このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。
我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
論文 参考訳（メタデータ） (2020-07-17T12:34:38Z) - Shape from Projections via Differentiable Forward Projector for Computed
Tomography [4.304380400377787]
本稿では,3次元メッシュのフォワードモデルと最適化のギャップを埋める3次元メッシュの微分可能フォワードモデルを提案する。
提案した前方モデルを用いて,プロジェクションから直接3次元形状を再構成する。
単目的問題に対する実験結果から,提案手法はノイズシミュレーションデータ上で従来のボクセル法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-06-29T15:33:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。