論文の概要: S2P3: Self-Supervised Polarimetric Pose Prediction
- arxiv url: http://arxiv.org/abs/2312.01105v1
- Date: Sat, 2 Dec 2023 10:46:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 19:04:03.778484
- Title: S2P3: Self-Supervised Polarimetric Pose Prediction
- Title（参考訳）: S2P3:自己監督型ポラリメトリックポース予測
- Authors: Patrick Ruhkamp, Daoyi Gao, Nassir Navab, Benjamin Busam
- Abstract要約: 本稿では,マルチモーダルRGB+ポラリメトリック画像から,最初の自己監督型6次元オブジェクトポーズ予測を提案する。
1) 偏光の幾何学的情報を抽出する物理モデル,2) 教師による知識蒸留方式,3) 異なる制約による自己監督的損失の定式化を含む。
- 参考スコア（独自算出の注目度）: 55.43547228561919
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper proposes the first self-supervised 6D object pose prediction from
multimodal RGB+polarimetric images. The novel training paradigm comprises 1) a
physical model to extract geometric information of polarized light, 2) a
teacher-student knowledge distillation scheme and 3) a self-supervised loss
formulation through differentiable rendering and an invertible physical
constraint. Both networks leverage the physical properties of polarized light
to learn robust geometric representations by encoding shape priors and
polarization characteristics derived from our physical model. Geometric
pseudo-labels from the teacher support the student network without the need for
annotated real data. Dense appearance and geometric information of objects are
obtained through a differentiable renderer with the predicted pose for
self-supervised direct coupling. The student network additionally features our
proposed invertible formulation of the physical shape priors that enables
end-to-end self-supervised training through physical constraints of derived
polarization characteristics compared against polarimetric input images. We
specifically focus on photometrically challenging objects with texture-less or
reflective surfaces and transparent materials for which the most prominent
performance gain is reported.
- Abstract（参考訳）: 本稿では,マルチモーダルRGB+ポラリメトリック画像から,最初の自己監督型6次元オブジェクトポーズ予測を提案する。
新たなトレーニングパラダイムは
1)偏光の幾何学的情報を抽出する物理モデル
2 教員養成型知識蒸留方式と
3) 微分可能レンダリングと可逆物理的制約による自己教師付き損失定式化。
いずれのネットワークも偏光特性を利用して, 形状先行と偏光特性を物理モデルから符号化することでロバストな幾何表現を学習する。
教師からの幾何学的擬似ラベルは、注釈付き実データなしで学生ネットワークをサポートする。
自己教師型直接結合のための予測ポーズを持つ微分可能なレンダラーにより、オブジェクトの高密度な外観と幾何情報を得る。
また,本論文では,偏光特性の物理的制約によるエンドツーエンドの自己教師付き学習を可能にする物理形状事前の可逆的定式化を,偏光画像と比較した。
特に, テクスチャレスあるいは反射面を有する光量的に挑戦する物体と, 最も顕著な性能向上が報告された透明材料に注目した。
関連論文リスト
- PhyRecon: Physically Plausible Neural Scene Reconstruction [81.73129450090684]
我々は、微分可能レンダリングと微分可能物理シミュレーションの両方を活用する最初のアプローチであるPhyReconを導入し、暗黙的な表面表現を学習する。
PhyReconは、ニューラルな暗黙の表現に基づいて構築された、新しい微分可能な粒子ベースの物理シミュレータを備えている。
また,物理シミュレータの安定性も向上し,全データセットに対して少なくとも40%の改善が得られた。
論文 参考訳（メタデータ） (2024-04-25T15:06:58Z) - A Hitchhiker's Guide to Geometric GNNs for 3D Atomic Systems [87.30652640973317]
原子系の計算モデリングの最近の進歩は、これらを3次元ユークリッド空間のノードとして埋め込まれた原子を含む幾何学的グラフとして表現している。
Geometric Graph Neural Networksは、タンパク質構造予測から分子シミュレーション、物質生成まで、幅広い応用を駆動する機械学習アーキテクチャとして好まれている。
本稿では,3次元原子システムのための幾何学的GNNの分野について,包括的で自己完結した概要を述べる。
論文 参考訳（メタデータ） (2023-12-12T18:44:19Z) - Polarimetric Information for Multi-Modal 6D Pose Estimation of
Photometrically Challenging Objects with Limited Data [51.95347650131366]
6Dポーズ推定パイプラインは、RGBのみまたはRGB-Dデータに依存する。
このような制限を克服するために,補完分極情報を利用した教師付き学習ベース手法を提案する。
論文 参考訳（メタデータ） (2023-08-21T10:56:00Z) - Transparent Shape from a Single View Polarization Image [6.18278691318801]
本稿では,一視点偏光画像から透明表面を推定する学習手法を提案する。
従来の偏光法(SfP)法では、固有の透過干渉が物理に基づく事前の信頼性を大幅に低下させるため、透明な形状を推定することが困難である。
論文 参考訳（メタデータ） (2022-04-13T12:24:32Z) - {\phi}-SfT: Shape-from-Template with a Physics-Based Deformation Model [69.27632025495512]
Shape-from-Template (SfT) 法では、単一の単眼RGBカメラから3次元表面の変形を推定する。
本稿では,物理シミュレーションによる2次元観察を解説する新しいSfT手法を提案する。
論文 参考訳（メタデータ） (2022-03-22T17:59:57Z) - Filtered-CoPhy: Unsupervised Learning of Counterfactual Physics in Pixel
Space [43.654464513994164]
高次元データ(画像,ビデオ)における因果関係の学習方法を提案する。
我々の手法は、いかなる根拠となる真実の位置や他の対象物やシーン特性の知識や監督も必要としない。
我々は,画素空間における予測のための新しい挑戦的かつ慎重に設計された反実的ベンチマークを導入する。
論文 参考訳（メタデータ） (2022-02-01T12:18:30Z) - Polarimetric Pose Prediction [42.47531308682873]
カラーバンド分離波長と強度は、単色6Dオブジェクトのポーズ推定に最もよく用いられる。
本稿では,光波の発振方向などの相補的な偏光情報が,ポーズ予測の精度にどのように影響するかを考察する。
論文 参考訳（メタデータ） (2021-12-07T16:38:10Z) - SIDER: Single-Image Neural Optimization for Facial Geometric Detail
Recovery [54.64663713249079]
SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。
以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
論文 参考訳（メタデータ） (2021-08-11T22:34:53Z) - 3D Human Shape Reconstruction from a Polarization Image [34.240256720930155]
本稿では, 単偏光2次元画像から衣服の3次元体形状を推定する問題に対処する。
専用2段階のディープラーニングアプローチであるSfPが提案されている。
論文 参考訳（メタデータ） (2020-07-17T22:36:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。