論文の概要: Domain-Adaptive 2D Human Pose Estimation via Dual Teachers in Extremely Low-Light Conditions

• arxiv url: http://arxiv.org/abs/2407.15451v1
• Date: Mon, 22 Jul 2024 08:09:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 15:40:55.065037
• Title: Domain-Adaptive 2D Human Pose Estimation via Dual Teachers in Extremely Low-Light Conditions
• Title（参考訳）: 極低光環境下での二重教師によるドメイン適応型2次元人物位置推定
• Authors: Yihao Ai, Yifei Qi, Bo Wang, Yu Cheng, Xinchao Wang, Robby T. Tan,
• Abstract要約: 低照度ポーズ推定の最近の研究は、トレーニングのために地上の真実とペアの明るい画像と低照度画像を使用する必要がある。 我々の主な新規性は、2つの補完的な教員ネットワークを活用して、より信頼性の高い擬似ラベルを生成することである。 本手法は最新技術(SOTA)法に対して6.8%(2.4 AP)の改善を達成した。
• 参考スコア（独自算出の注目度）: 65.0109231252639
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing 2D human pose estimation research predominantly concentrates on well-lit scenarios, with limited exploration of poor lighting conditions, which are a prevalent aspect of daily life. Recent studies on low-light pose estimation require the use of paired well-lit and low-light images with ground truths for training, which are impractical due to the inherent challenges associated with annotation on low-light images. To this end, we introduce a novel approach that eliminates the need for low-light ground truths. Our primary novelty lies in leveraging two complementary-teacher networks to generate more reliable pseudo labels, enabling our model achieves competitive performance on extremely low-light images without the need for training with low-light ground truths. Our framework consists of two stages. In the first stage, our model is trained on well-lit data with low-light augmentations. In the second stage, we propose a dual-teacher framework to utilize the unlabeled low-light data, where a center-based main teacher produces the pseudo labels for relatively visible cases, while a keypoints-based complementary teacher focuses on producing the pseudo labels for the missed persons of the main teacher. With the pseudo labels from both teachers, we propose a person-specific low-light augmentation to challenge a student model in training to outperform the teachers. Experimental results on real low-light dataset (ExLPose-OCN) show, our method achieves 6.8% (2.4 AP) improvement over the state-of-the-art (SOTA) method, despite no low-light ground-truth data is used in our approach, in contrast to the SOTA method. Our code will be available at:https://github.com/ayh015-dev/DA-LLPose.
• Abstract（参考訳）: 既存の2次元ポーズ推定研究は主に、生活の一般的な側面である照明条件の少ない探索に焦点を絞った、明るいシナリオに焦点を当てている。 低照度ポーズ推定の最近の研究は、低照度画像のアノテーションにかかわる固有の課題のため、地上の真理とペアの良照度画像と低照度画像の併用を訓練に必要としている。 そこで本研究では,低照度地平の真理を排除した新しいアプローチを提案する。 我々の主な特徴は、2つの補完的な教員ネットワークを利用してより信頼性の高い擬似ラベルを生成することである。 私たちのフレームワークは2つのステージで構成されています。 第一段階では、我々のモデルは、低照度拡張を伴う明るいデータに基づいて訓練されている。 第2段階では,主教官が比較的可視なケースに対して擬似ラベルを生成するのに対して,主教官の欠席者に対して擬似ラベルを生成するのに主教官が主教官の擬似ラベルを作成するという,ラベルのない低照度データを利用するための二重教官フレームワークを提案する。 両教師の擬似ラベルを用いて,学生モデルに挑戦する個人固有の低照度増進を提案し,教師に優越する結果を得た。 実際の低照度データセット(ExLPose-OCN)による実験結果から,SOTA法とは対照的に,SOTA法に比べて6.8%(2.4 AP)の改善が得られた。 私たちのコードは、https://github.com/ayh015-dev/DA-LLPose.comで公開されます。

関連論文リスト

• Semi-LLIE: Semi-supervised Contrastive Learning with Mamba-based Low-light Image Enhancement [59.17372460692809]
  本研究は、平均教師による半教師付き低照度強化(Semi-LLIE)フレームワークを提案する。 照度分布を忠実に伝達するために、意味認識によるコントラスト損失を導入し、自然色による画像の強調に寄与する。 また,大規模な視覚言語認識モデル(RAM)に基づく新たな知覚損失を提案し,よりリッチなテキストによる画像生成を支援する。
  論文  参考訳（メタデータ） (2024-09-25T04:05:32Z)
• Effective Whole-body Pose Estimation with Two-stages Distillation [52.92064408970796]
  全体ポーズ推定は、画像内の人体、手、顔、足のキーポイントをローカライズする。 textbfWhole-body textbfPose 推定器の2段階ポーズ textbfDistillation を提案し,その有効性と効率性について検討した。
  論文  参考訳（メタデータ） (2023-07-29T03:49:28Z)
• Human Pose Estimation in Extremely Low-Light Conditions [21.210706205233286]
  我々は、専用のカメラシステムを開発し、正確なポーズラベルを持つ実際の低照度画像の新しいデータセットを構築した。 我々のカメラシステムにより、データセット内の各低照度画像は、整列した明るい画像と結合され、正確なポーズラベリングを可能にします。 また、照明条件に敏感な表現を学習するために、特権情報を完全に活用する新しいモデルと新しいトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-27T17:28:25Z)
• 2PCNet: Two-Phase Consistency Training for Day-to-Night Unsupervised Domain Adaptive Object Detection [30.114398123450236]
  本稿では,これらの問題に対処するため,二相整合性非教師付きドメイン適応ネットワークである2PCNetを提案する。 公開データセットを用いた実験により,本手法は最先端の手法よりも20%優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-03-24T08:22:41Z)
• Semi-Supervised 2D Human Pose Estimation Driven by Position Inconsistency Pseudo Label Correction Module [74.80776648785897]
  i) 大規模モデルと軽量モデルの間で対話的なトレーニングを行う場合, 大規模モデルのガイドに擬似的な軽量モデルラベルを用いる。 位置整合性擬似ラベル補正モジュール(SSPCM)により駆動される半教師付き2次元ポーズ推定フレームワークを提案する。 学生モデルの性能向上のために,擬似キーポイント認識に基づく半教師付きカットオクルードを用いて,より硬く効果的なサンプルを生成する。
  論文  参考訳（メタデータ） (2023-03-08T02:57:05Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
  我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。 提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
  論文  参考訳（メタデータ） (2020-05-06T13:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。