論文の概要: Shape-from-Template with Generalised Camera
- arxiv url: http://arxiv.org/abs/2508.13791v1
- Date: Tue, 19 Aug 2025 12:51:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-20 15:36:31.920882
- Title: Shape-from-Template with Generalised Camera
- Title(参考訳): 一般化カメラによる形状認識
- Authors: Agniva Sengupta, Stefan Zachow,
- Abstract要約: 複数のカメラの星座で観測される2次元キーポイントに3次元形状を非剛性登録する新しい手法を提案する。
我々は、一般化されたカメラモデルを用いて、そのようなマルチカメラのセットアップを表現する。
本稿では,多くの合成データおよび実データに対して提案手法の精度を示す。
- 参考スコア(独自算出の注目度): 2.6283632915080393
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This article presents a new method for non-rigidly registering a 3D shape to 2D keypoints observed by a constellation of multiple cameras. Non-rigid registration of a 3D shape to observed 2D keypoints, i.e., Shape-from-Template (SfT), has been widely studied using single images, but SfT with information from multiple-cameras jointly opens new directions for extending the scope of known use-cases such as 3D shape registration in medical imaging and registration from hand-held cameras, to name a few. We represent such multi-camera setup with the generalised camera model; therefore any collection of perspective or orthographic cameras observing any deforming object can be registered. We propose multiple approaches for such SfT: the first approach where the corresponded keypoints lie on a direction vector from a known 3D point in space, the second approach where the corresponded keypoints lie on a direction vector from an unknown 3D point in space but with known orientation w.r.t some local reference frame, and a third approach where, apart from correspondences, the silhouette of the imaged object is also known. Together, these form the first set of solutions to the SfT problem with generalised cameras. The key idea behind SfT with generalised camera is the improved reconstruction accuracy from estimating deformed shape while utilising the additional information from the mutual constraints between multiple views of a deformed object. The correspondence-based approaches are solved with convex programming while the silhouette-based approach is an iterative refinement of the results from the convex solutions. We demonstrate the accuracy of our proposed methods on many synthetic and real data
- Abstract(参考訳): 本稿では,複数のカメラの星座で観測される2次元キーポイントに3次元形状を非剛性登録する新しい手法を提案する。
観察された2Dキーポイント、すなわちShape-from-Template (SfT) の3D形状の非剛性登録は、単一画像を用いて広く研究されているが、マルチカメラからの情報を付加したSfTは、医用画像における3D形状の登録やハンドヘルドカメラからの登録など、既知のユースケースの範囲を拡張するための新たな方向を共同で開く。
一般化されたカメラモデルを用いて、このようなマルチカメラのセットアップを表現し、任意の変形物体を観察する視点や直視カメラの集合を登録することができる。
そのようなSfTに対する複数のアプローチを提案する: 対応するキーポイントが既知の空間の3D点から方向ベクトル上に置かれる第1のアプローチ、対応するキーポイントが未知の空間の3D点から方向ベクトル上に置かれる第2のアプローチ、そして、いくつかの局所参照フレームにおいて既知の方向w.r.、および、対応とは別に、画像化されたオブジェクトのシルエットも知られている。
これらを合わせて、一般化されたカメラによるSfT問題に対する最初の解の集合を形成する。
一般化カメラによるSfTの背後にある鍵となるアイデアは、変形した物体の複数のビュー間の相互制約から付加情報を利用しながら、変形した形状を推定することによる再構成精度の向上である。
対応に基づくアプローチは凸プログラミングによって解決され、シルエットベースのアプローチは凸解からの結果を反復的に洗練する。
多くの合成および実データに対して提案手法の精度を示す。
関連論文リスト
- CVCP-Fusion: On Implicit Depth Estimation for 3D Bounding Box Prediction [2.0375637582248136]
Cross-View Center Point-Fusionは、3Dオブジェクト検出を行う最先端モデルである。
我々のアーキテクチャは、以前に確立されたアルゴリズム、クロスビュートランスフォーマー、CenterPointのアスペクトを利用する。
論文 参考訳(メタデータ) (2024-10-15T02:55:07Z) - Unsupervised Learning of Category-Level 3D Pose from Object-Centric Videos [15.532504015622159]
カテゴリーレベルの3Dポーズ推定は、コンピュータビジョンとロボット工学において基本的に重要な問題である。
カテゴリーレベルの3Dポーズを,カジュアルに撮られた対象中心の動画からのみ推定する学習の課題に取り組む。
論文 参考訳(メタデータ) (2024-07-05T09:43:05Z) - Neural Voting Field for Camera-Space 3D Hand Pose Estimation [106.34750803910714]
3次元暗黙表現に基づく1枚のRGB画像からカメラ空間の3Dハンドポーズ推定のための統一的なフレームワークを提案する。
本稿では,カメラフラストラムにおける高密度3次元ポイントワイド投票により,カメラ空間の3次元ハンドポーズを推定する,新しい3次元高密度回帰手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T16:51:34Z) - Neural Correspondence Field for Object Pose Estimation [67.96767010122633]
1枚のRGB画像から3次元モデルで剛体物体の6DoFポーズを推定する手法を提案する。
入力画像の画素で3次元オブジェクト座標を予測する古典的対応法とは異なり,提案手法はカメラフラストラムでサンプリングされた3次元クエリポイントで3次元オブジェクト座標を予測する。
論文 参考訳(メタデータ) (2022-07-30T01:48:23Z) - 3D Magic Mirror: Clothing Reconstruction from a Single Image via a
Causal Perspective [96.65476492200648]
本研究は, 自己監督型3D衣料の再構築手法について検討することを目的とする。
1枚の2D画像から人間の衣服の形状やテクスチャを復元する。
論文 参考訳(メタデータ) (2022-04-27T17:46:55Z) - Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。
我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。
我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文 参考訳(メタデータ) (2022-04-21T03:42:31Z) - Learning Stereopsis from Geometric Synthesis for 6D Object Pose
Estimation [11.999630902627864]
現在のモノクラーベース6Dオブジェクトポーズ推定法は、一般的にRGBDベースの手法よりも競争力の低い結果が得られる。
本稿では,短いベースライン2ビュー設定による3次元幾何体積に基づくポーズ推定手法を提案する。
実験により,本手法は最先端の単分子法よりも優れ,異なる物体やシーンにおいて堅牢であることが示された。
論文 参考訳(メタデータ) (2021-09-25T02:55:05Z) - Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。
我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。
深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
論文 参考訳(メタデータ) (2021-08-10T12:19:34Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳(メタデータ) (2020-04-05T12:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。