論文の概要: Two Views Are Better than One: Monocular 3D Pose Estimation with Multiview Consistency

• arxiv url: http://arxiv.org/abs/2311.12421v3
• Date: Thu, 08 May 2025 13:39:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.472208
• Title: Two Views Are Better than One: Monocular 3D Pose Estimation with Multiview Consistency
• Title（参考訳）: 2つのビューが1より優れている:マルチビュー整合性による単眼的な3Dポーズ推定
• Authors: Christian Keilstrup Ingwersen, Rasmus Tirsgaard, Rasmus Nylander, Janus Nørtoft Jensen, Anders Bjorholm Dahl, Morten Rieger Hannemose,
• Abstract要約: 2つの同期ビューで動作する新しい損失関数、一貫性損失を導入する。 我々の整合性喪失は、3Dデータを必要としない微調整の性能を著しく向上させる。 半教師付き方式でモデルをスクラッチからトレーニングする場合,一貫性損失を用いることで最先端の性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 0.493599216374976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deducing a 3D human pose from a single 2D image is inherently challenging because multiple 3D poses can correspond to the same 2D representation. 3D data can resolve this pose ambiguity, but it is expensive to record and requires an intricate setup that is often restricted to controlled lab environments. We propose a method that improves the performance of deep learning-based monocular 3D human pose estimation models by using multiview data only during training, but not during inference. We introduce a novel loss function, consistency loss, which operates on two synchronized views. This approach is simpler than previous models that require 3D ground truth or intrinsic and extrinsic camera parameters. Our consistency loss penalizes differences in two pose sequences after rigid alignment. We also demonstrate that our consistency loss substantially improves performance for fine-tuning without requiring 3D data. Furthermore, we show that using our consistency loss can yield state-of-the-art performance when training models from scratch in a semi-supervised manner. Our findings provide a simple way to capture new data, e.g in a new domain. This data can be added using off-the-shelf cameras with no calibration requirements. We make all our code and data publicly available.
• Abstract（参考訳）: 複数の3Dポーズが同じ2D表現に対応できるため、単一の2D画像から3Dのポーズを導出することは本質的に困難である。 3Dデータはこの曖昧さを解消することができるが、記録するのは高価であり、しばしば制御された実験室環境に制限される複雑なセットアップを必要とする。 本研究では,深層学習に基づく単眼3次元ポーズ推定モデルの性能を,トレーニング中のみ,推論中ではなく,マルチビューデータを用いて改善する手法を提案する。 2つの同期ビューで動作する新しい損失関数、一貫性損失を導入する。 このアプローチは、従来の3D地上真実や本質的・外生的なカメラパラメータを必要とするモデルよりも単純である。 整合性損失は、剛性アライメント後の2つのポーズシーケンスの違いをペナライズする。 また,3次元データを必要としない微調整性能が著しく向上することが実証された。 さらに, 整合性損失を用いることで, スクラッチから半教師付きでモデルのトレーニングを行う際に, 最先端の性能が得られることを示す。 私たちの発見は、例えば新しいドメインで、新しいデータをキャプチャする簡単な方法を提供する。 このデータは、キャリブレーションの必要なく、市販のカメラで追加することができる。 すべてのコードとデータを公開しています。

関連論文リスト

• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• LInKs "Lifting Independent Keypoints" -- Partial Pose Lifting for Occlusion Handling with Improved Accuracy in 2D-3D Human Pose Estimation [4.648549457266638]
  2Dキネマティックスケルトンから3D人間のポーズを復元する新しい教師なし学習法であるLInKsを提案する。 提案手法は,まず3次元領域に隠された2次元のポーズを持ち上げるという,ユニークな2段階のプロセスに従う。 このリフト・テン・フィルのアプローチは、2次元空間でのみポーズを完了したモデルよりもはるかに正確な結果をもたらす。
  論文  参考訳（メタデータ） (2023-09-13T18:28:04Z)
• CameraPose: Weakly-Supervised Monocular 3D Human Pose Estimation by Leveraging In-the-wild 2D Annotations [25.05308239278207]
  一つの画像から3次元のポーズ推定を行うための弱教師付きフレームワークであるCameraPoseを提案する。 カメラパラメータブランチを追加することで、Wildの2Dアノテーションをパイプラインに投入して、トレーニングの多様性を高めることができます。 また、2次元ポーズ推定器によって抽出されたノイズの多い2Dキーポイントの品質をさらに向上させるため、信頼誘導損失を有する改良型ネットワークモジュールも導入する。
  論文  参考訳（メタデータ） (2023-01-08T05:07:41Z)
• DiffuPose: Monocular 3D Human Pose Estimation via Denoising Diffusion Probabilistic Model [25.223801390996435]
  本稿では,1つの2次元キーポイント検出から3次元ポーズを再構築することに焦点を当てた。 我々は,市販の2D検出器から多種多様な3Dポーズを効果的にサンプリングするための,拡散に基づく新しいフレームワークを構築した。 我々は,広く採用されているHuman3.6MとHumanEva-Iデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2022-12-06T07:22:20Z)
• MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision [72.5863451123577]
  正確な3Dポーズとカメラ推定が可能なニューラルモデルをトレーニングする方法を示す。 本手法は,古典的バンドル調整と弱教師付き単分子3Dベースラインの両方に優れる。
  論文  参考訳（メタデータ） (2021-08-10T18:39:56Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)
• Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation [107.07047303858664]
  3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。 既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。 結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
  論文  参考訳（メタデータ） (2020-04-07T20:21:18Z)
• Weakly-Supervised 3D Human Pose Learning via Multi-view Images in the Wild [101.70320427145388]
  本稿では、3Dアノテーションを必要としない弱教師付きアプローチを提案し、ラベルのないマルチビューデータから3Dポーズを推定する。 提案手法を2つの大規模データセット上で評価する。
  論文  参考訳（メタデータ） (2020-03-17T08:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。