論文の概要: Non-Local Latent Relation Distillation for Self-Adaptive 3D Human Pose Estimation

• arxiv url: http://arxiv.org/abs/2204.01971v2
• Date: Wed, 6 Apr 2022 07:29:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-07 11:02:02.248867
• Title: Non-Local Latent Relation Distillation for Self-Adaptive 3D Human Pose Estimation
• Title（参考訳）: 自己適応型3次元ポーズ推定のための非局所潜在関係蒸留
• Authors: Jogendra Nath Kundu, Siddharth Seth, Anirudh Jamkhandi, Pradyumna YM, Varun Jampani, Anirban Chakraborty, R. Venkatesh Babu
• Abstract要約: 3次元ポーズ推定アプローチは、強い(2D/3Dポーズ)または弱い(複数ビューまたは深さ)ペアによる監督の異なる形態を利用する。 我々は3Dポーズ学習を,ラベル付きソースドメインから完全に損なわれないターゲットへのタスク知識の転送を目的とした,自己指導型適応問題として捉えた。 我々は、異なる自己適応設定を評価し、標準ベンチマークで最先端の3Dポーズ推定性能を示す。
• 参考スコア（独自算出の注目度）: 63.199549837604444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Available 3D human pose estimation approaches leverage different forms of strong (2D/3D pose) or weak (multi-view or depth) paired supervision. Barring synthetic or in-studio domains, acquiring such supervision for each new target environment is highly inconvenient. To this end, we cast 3D pose learning as a self-supervised adaptation problem that aims to transfer the task knowledge from a labeled source domain to a completely unpaired target. We propose to infer image-to-pose via two explicit mappings viz. image-to-latent and latent-to-pose where the latter is a pre-learned decoder obtained from a prior-enforcing generative adversarial auto-encoder. Next, we introduce relation distillation as a means to align the unpaired cross-modal samples i.e. the unpaired target videos and unpaired 3D pose sequences. To this end, we propose a new set of non-local relations in order to characterize long-range latent pose interactions unlike general contrastive relations where positive couplings are limited to a local neighborhood structure. Further, we provide an objective way to quantify non-localness in order to select the most effective relation set. We evaluate different self-adaptation settings and demonstrate state-of-the-art 3D human pose estimation performance on standard benchmarks.
• Abstract（参考訳）: 利用可能な3次元ポーズ推定アプローチは、強い(2D/3Dポーズ)または弱い(複数ビューまたは深さ)ペアによる監督の異なる形態を利用する。 合成ドメインまたはインスタディオドメインの保持により、新しいターゲット環境ごとにそのような監視を受けることは極めて不都合である。 そこで本稿では,ラベル付きソースドメインからのタスク知識の移動を目的とした,自己教師型適応問題として3Dポーズ学習を行った。 本稿では、画像からラテントへの2つの明示的なマッピングとラテント・トゥ・プレイスによる画像から目的への推論を提案する。 次に,不対のクロスモーダルサンプル,すなわち非対のターゲットビデオと非対の3dポーズシーケンスを整合させる手段として関係蒸留を導入する。 そこで本研究では,正の結合が局所的な近傍構造に制限される一般のコントラッシブな関係とは異なり,長距離潜在ポーズ相互作用を特徴付けるために,非局所関係の新たな集合を提案する。 さらに,最も効果的な関係集合を選択するために,非局所性を定量化する客観的な方法を提案する。 我々は,様々な自己適応設定を評価し,標準ベンチマークによる最先端の3次元ポーズ推定性能を示す。

関連論文リスト

• Dual networks based 3D Multi-Person Pose Estimation from Monocular Video [42.01876518017639]
  複数人の3Dポーズ推定はシングルポーズ推定よりも難しい。 既存のトップダウンとボトムアップのアプローチでは、推定が検出エラーに悩まされる。 我々は,トップダウンアプローチとボトムアップアプローチを統合して,その強みを活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T08:53:38Z)
• PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and Hallucination under Self-supervision [102.48681650013698]
  既存の自己監督型3次元ポーズ推定スキームは、学習を導くための弱い監督に大きく依存している。 そこで我々は,2D-3Dのポーズペアを明示的に生成し,監督を増強する,新しい自己監督手法を提案する。 これは、ポーズ推定器とポーズ幻覚器を併用して学習する強化学習ベースの模倣器を導入することで可能となる。
  論文  参考訳（メタデータ） (2022-03-29T14:45:53Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)
• Unsupervised Cross-Modal Alignment for Multi-Person 3D Pose Estimation [52.94078950641959]
  マルチパーソン・ヒューマン・ポーズ推定のためのデプロイフレンドリーで高速なボトムアップ・フレームワークを提案する。 我々は,人物の位置を対応する3Dポーズ表現と統一する,多人数の3Dポーズのニューラル表現を採用する。 ペア化された2Dまたは3Dポーズアノテーションが利用できない実用的な配置パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-08-04T07:54:25Z)
• Kinematic-Structure-Preserved Representation for Unsupervised 3D Human Pose Estimation [58.72192168935338]
  大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。 本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。 提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
  論文  参考訳（メタデータ） (2020-06-24T23:56:33Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。