論文の概要: On Triangulation as a Form of Self-Supervision for 3D Human Pose Estimation

• arxiv url: http://arxiv.org/abs/2203.15865v1
• Date: Tue, 29 Mar 2022 19:11:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-01 05:29:36.178443
• Title: On Triangulation as a Form of Self-Supervision for 3D Human Pose Estimation
• Title（参考訳）: 3次元姿勢推定のための自己スーパービジョンとしての三角法について
• Authors: Soumava Kumar Roy, Leonardo Citraro, Sina Honari and Pascal Fua
• Abstract要約: ラベル付きデータが豊富である場合, 単一画像からの3次元ポーズ推定に対する改良されたアプローチは, 極めて効果的である。 最近の注目の多くは、セミと(あるいは)弱い教師付き学習に移行している。 本稿では,多視点の幾何学的制約を,識別可能な三角測量を用いて課し,ラベルがない場合の自己監督の形式として用いることを提案する。
• 参考スコア（独自算出の注目度）: 57.766049538913926
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Supervised approaches to 3D pose estimation from single images are remarkably effective when labeled data is abundant. Therefore, much of the recent attention has shifted towards semi and (or) weakly supervised learning. Generating an effective form of supervision with little annotations still poses major challenges in crowded scenes. However, since it is easy to observe a scene from multiple cameras, we propose to impose multi-view geometrical constraints by means of a differentiable triangulation and to use it as form of self-supervision during training when no labels are available. We therefore train a 2D pose estimator in such a way that its predictions correspond to the re-projection of the triangulated 3D one and train an auxiliary network on them to produce the final 3D poses. We complement the triangulation with a weighting mechanism that nullify the impact of noisy predictions caused by self-occlusion or occlusion from other subjects. Our experimental results on Human3.6M and MPI-INF-3DHP substantiate the significance of our weighting strategy where we obtain state-of-the-art results in the semi and weakly supervised learning setup. We also contribute a new multi-player sports dataset that features occlusion, and show the effectiveness of our algorithm over baseline triangulation methods.
• Abstract（参考訳）: ラベル付きデータが豊富である場合, 単一の画像から3次元ポーズ推定を行う手法は極めて効果的である。 それゆえ、近年の注意の多くは、半および(または)弱い教師付き学習へと移っている。 少ないアノテーションで効果的な監督形式を生成することは、いまだに混み合ったシーンにおいて大きな課題となる。 しかし,複数のカメラからシーンを観察することは容易であるため,識別可能な三角測量を用いて多視点幾何学的制約を課し,ラベルがない場合の自己監督の形式として用いることを提案する。 そこで,三角測量された3次元画像の再投影と予測が一致するように2次元ポーズ推定器を訓練し,補助ネットワークを訓練して最終3次元ポーズを生成する。 我々は,自己閉塞や他者からの閉塞によるノイズ予測の影響を解消する重み付け機構で三角測量を補完する。 ヒト3.6mおよびmpi-inf-3dhpにおける実験結果は,半教師あり学習環境において最先端の成果を得るための重み付け戦略の意義を裏付けるものである。 また,オクルージョンを特徴とする新たなマルチプレイヤースポーツデータセットも提供し,ベースライン三角測量法よりもアルゴリズムの有効性を示す。

関連論文リスト

• Weakly Supervised 3D Multi-person Pose Estimation for Large-scale Scenes based on Monocular Camera and Single LiDAR [41.39277657279448]
  大規模シーンにおける3次元多人数ポーズ推定のためのモノクロカメラとLiDARによる単一手法を提案する。 具体的には,画像や点クラウドを含むマルチモーダル入力データを活用するための効果的な融合戦略を設計する。 本手法は, 点雲の固有な幾何学的制約を自己監督のために利用し, 画像上の2次元キーポイントを弱監督のために利用する。
  論文  参考訳（メタデータ） (2022-11-30T12:50:40Z)
• PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and Hallucination under Self-supervision [102.48681650013698]
  既存の自己監督型3次元ポーズ推定スキームは、学習を導くための弱い監督に大きく依存している。 そこで我々は,2D-3Dのポーズペアを明示的に生成し,監督を増強する,新しい自己監督手法を提案する。 これは、ポーズ推定器とポーズ幻覚器を併用して学習する強化学習ベースの模倣器を導入することで可能となる。
  論文  参考訳（メタデータ） (2022-03-29T14:45:53Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)
• Multi-Scale Networks for 3D Human Pose Estimation with Inference Stage Optimization [33.02708860641971]
  モノクロビデオから3Dのポーズを推定することは、まだまだ難しい課題だ。 既存の多くのメソッドは、対象の人が他のオブジェクトに干渉されたり、トレーニングデータのスケールや速度に対して動きが速すぎたり、遅くなったりすると低下する。 頑健な3次元ポーズ推定のための時間的ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-13T15:24:28Z)
• Unsupervised Cross-Modal Alignment for Multi-Person 3D Pose Estimation [52.94078950641959]
  マルチパーソン・ヒューマン・ポーズ推定のためのデプロイフレンドリーで高速なボトムアップ・フレームワークを提案する。 我々は,人物の位置を対応する3Dポーズ表現と統一する,多人数の3Dポーズのニューラル表現を採用する。 ペア化された2Dまたは3Dポーズアノテーションが利用できない実用的な配置パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-08-04T07:54:25Z)
• Kinematic-Structure-Preserved Representation for Unsupervised 3D Human Pose Estimation [58.72192168935338]
  大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。 本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。 提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
  論文  参考訳（メタデータ） (2020-06-24T23:56:33Z)
• Weakly-Supervised 3D Human Pose Learning via Multi-view Images in the Wild [101.70320427145388]
  本稿では、3Dアノテーションを必要としない弱教師付きアプローチを提案し、ラベルのないマルチビューデータから3Dポーズを推定する。 提案手法を2つの大規模データセット上で評価する。
  論文  参考訳（メタデータ） (2020-03-17T08:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。