Fugu-MT 論文翻訳(概要): SCIPaD: Incorporating Spatial Clues into Unsupervised Pose-Depth Joint Learning

論文の概要: SCIPaD: Incorporating Spatial Clues into Unsupervised Pose-Depth Joint Learning

arxiv url: http://arxiv.org/abs/2407.05283v1
Date: Sun, 7 Jul 2024 06:52:51 GMT
ステータス: 処理完了
システム内更新日: 2024-07-09 20:27:05.581730
Title: SCIPaD: Incorporating Spatial Clues into Unsupervised Pose-Depth Joint Learning
Title（参考訳）: SCIPaD:教師なしPose-Depthジョイントラーニングに空間曲線を組み込む
Authors: Yi Feng, Zizhan Guo, Qijun Chen, Rui Fan,
Abstract要約: 本研究では,教師なし深層学習のための空間的手がかりを取り入れた新しいアプローチであるSCIPaDを紹介する。 SCIPaDは平均翻訳誤差22.2%、カメラポーズ推定タスクの平均角誤差34.8%をKITTI Odometryデータセットで達成している。
参考スコア（独自算出の注目度）: 17.99904937160487
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Unsupervised monocular depth estimation frameworks have shown promising performance in autonomous driving. However, existing solutions primarily rely on a simple convolutional neural network for ego-motion recovery, which struggles to estimate precise camera poses in dynamic, complicated real-world scenarios. These inaccurately estimated camera poses can inevitably deteriorate the photometric reconstruction and mislead the depth estimation networks with wrong supervisory signals. In this article, we introduce SCIPaD, a novel approach that incorporates spatial clues for unsupervised depth-pose joint learning. Specifically, a confidence-aware feature flow estimator is proposed to acquire 2D feature positional translations and their associated confidence levels. Meanwhile, we introduce a positional clue aggregator, which integrates pseudo 3D point clouds from DepthNet and 2D feature flows into homogeneous positional representations. Finally, a hierarchical positional embedding injector is proposed to selectively inject spatial clues into semantic features for robust camera pose decoding. Extensive experiments and analyses demonstrate the superior performance of our model compared to other state-of-the-art methods. Remarkably, SCIPaD achieves a reduction of 22.2\% in average translation error and 34.8\% in average angular error for camera pose estimation task on the KITTI Odometry dataset. Our source code is available at \url{https://mias.group/SCIPaD}.
Abstract（参考訳）: 教師なし単眼深度推定フレームワークは、自律運転において有望な性能を示した。しかし、既存のソリューションは主にエゴモーションリカバリのための単純な畳み込みニューラルネットワークに依存しており、ダイナミックで複雑な現実のシナリオにおける正確なカメラのポーズを推定するのに苦労している。これらの不正確な推定されたカメラのポーズは、必然的に光度再構成を劣化させ、間違った監督信号で深度推定ネットワークを誤解させる可能性がある。本稿では,教師なし深層学習のための空間的手がかりを取り入れたSCIPaDを紹介する。具体的には,2次元特徴量と関連する信頼度を取得するために,信頼度を考慮した特徴量フロー推定器を提案する。一方,DepthNetの擬似3次元点群と2次元特徴群を同質な位置表現へ統合する位置案内アグリゲータを導入する。最後に、ロバストなカメラポーズデコーディングのための意味的特徴に空間的ヒントを選択的に注入する階層的な位置埋め込みインジェクタを提案する。大規模な実験と解析により、他の最先端手法と比較して、我々のモデルの優れた性能を示す。注目すべきことに、SCIPaDは、KITTIオドメトリデータセット上のカメラポーズ推定タスクにおいて平均翻訳誤差22.2\%、平均角誤差34.8\%の削減を実現している。ソースコードは \url{https://mias.group/SCIPaD} で公開されています。

関連論文リスト

PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文参考訳（メタデータ） (2024-10-29T15:28:15Z)
GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
論文参考訳（メタデータ） (2024-05-17T07:31:20Z)
Toward Accurate Camera-based 3D Object Detection via Cascade Depth Estimation and Calibration [20.82054596017465]
最近の3次元物体検出は、画像から3次元特徴空間への変換の精度によって制限されている。本稿では,カメラを用いた3次元物体検出の基本的な課題である,正確な特徴持ち上げと物体位置決めのための深度情報を効果的に学習する方法を提案する。
論文参考訳（メタデータ） (2024-02-07T14:21:26Z)
NIKI: Neural Inverse Kinematics with Invertible Neural Networks for 3D Human Pose and Shape Estimation [53.25973084799954]
両方向誤差をモデル化したNIKI(Neural Inverse Kinematics with Invertible Neural Network)を提案する。 NIKIは、非可逆ネットワークによる前処理と逆処理の両方から学習することができる。
論文参考訳（メタデータ） (2023-05-15T12:13:24Z)
Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文参考訳（メタデータ） (2022-03-29T07:14:58Z)
MonoJSG: Joint Semantic and Geometric Cost Volume for Monocular 3D Object Detection [10.377424252002792]
モノクル3D物体検出は正確な深度回復能力に欠ける。ディープニューラルネットワーク(DNN)は、高レベルの学習機能からモノクルディープセンシングを可能にする。深度誤差をモデル化するための共同意味量と幾何学的コスト容積を提案する。
論文参考訳（メタデータ） (2022-03-16T11:54:10Z)
PONet: Robust 3D Human Pose Estimation via Learning Orientations Only [116.1502793612437]
本稿では,学習向きのみを用いて3次元ポーズを頑健に推定できる新しいPose Orientation Net(PONet)を提案する。 PONetは、局所的な画像証拠を利用して、これらの手足の3D方向を推定し、3Dポーズを復元する。我々は,Human3.6M,MPII,MPI-INF-3DHP,3DPWを含む複数のデータセットについて評価を行った。
論文参考訳（メタデータ） (2021-12-21T12:48:48Z)
Occlusion-Robust Object Pose Estimation with Holistic Representation [42.27081423489484]
State-of-the-art(SOTA)オブジェクトのポーズ推定器は2段階のアプローチを取る。我々は,新しいブロック・アンド・ブラックアウトバッチ拡張技術を開発した。また,総合的なポーズ表現学習を促進するためのマルチ精度監視アーキテクチャも開発している。
論文参考訳（メタデータ） (2021-10-22T08:00:26Z)
Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
論文参考訳（メタデータ） (2021-07-08T15:19:36Z)
VR3Dense: Voxel Representation Learning for 3D Object Detection and Monocular Dense Depth Reconstruction [0.951828574518325]
3次元物体検出と単眼深層再構成ニューラルネットワークを共同トレーニングする方法を紹介します。推論中に入力、LiDARポイントクラウド、単一のRGBイメージとして取得し、オブジェクトポーズ予測と密に再構築された深度マップを生成します。物体検出は教師付き方式で訓練されるが,自己教師型と教師型の両方の損失関数を用いて深度予測ネットワークを訓練する。
論文参考訳（メタデータ） (2021-04-13T04:25:54Z)
On the role of depth predictions for 3D human pose estimation [0.04199844472131921]
推定深度値とともに2dジョイント位置を入力とし、3d位置をカメラ座標で予測するシステムを構築します。結果は低次元の入力を受け入れ、リアルタイムシステムに統合されるニューラルネットワークで生成されます。本システムは市販の2dポーズ検出器と深度マップ予測器と組み合わせて野生での3dポーズ推定を行うことができる。
論文参考訳（メタデータ） (2021-03-03T16:51:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。