論文の概要: Towards Balanced Continual Multi-Modal Learning in Human Pose Estimation

• arxiv url: http://arxiv.org/abs/2501.05264v1
• Date: Thu, 09 Jan 2025 14:19:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 14:00:24.532416
• Title: Towards Balanced Continual Multi-Modal Learning in Human Pose Estimation
• Title（参考訳）: 人間の視点推定における連続的マルチモーダル学習のバランス
• Authors: Jiaxuan Peng, Mengshi Qi, Dong Zhao, Huadong Ma,
• Abstract要約: 人間の3次元ポーズ推定(3D HPE)は、特にRGBベースの手法の領域において顕著な研究トピックとして現れている。 RGB, LiDAR, mmWave, WiFiの電力を利用する3次元HPEのための, バランスの取れた連続マルチモーダル学習手法を提案する。 広義のマルチモーダルデータセットMM-Fiについて広範囲に実験を行い、3次元ポーズ推定の高速化におけるアプローチの優位性を実証した。
• 参考スコア（独自算出の注目度）: 26.485894179237903
• License:
• Abstract: 3D human pose estimation (3D HPE) has emerged as a prominent research topic, particularly in the realm of RGB-based methods. However, RGB images are susceptible to limitations such as sensitivity to lighting conditions and potential user discomfort. Consequently, multi-modal sensing, which leverages non-intrusive sensors, is gaining increasing attention. Nevertheless, multi-modal 3D HPE still faces challenges, including modality imbalance and the imperative for continual learning. In this work, we introduce a novel balanced continual multi-modal learning method for 3D HPE, which harnesses the power of RGB, LiDAR, mmWave, and WiFi. Specifically, we propose a Shapley value-based contribution algorithm to quantify the contribution of each modality and identify modality imbalance. To address this imbalance, we employ a re-learning strategy. Furthermore, recognizing that raw data is prone to noise contamination, we develop a novel denoising continual learning approach. This approach incorporates a noise identification and separation module to mitigate the adverse effects of noise and collaborates with the balanced learning strategy to enhance optimization. Additionally, an adaptive EWC mechanism is employed to alleviate catastrophic forgetting. We conduct extensive experiments on the widely-adopted multi-modal dataset, MM-Fi, which demonstrate the superiority of our approach in boosting 3D pose estimation and mitigating catastrophic forgetting in complex scenarios. We will release our codes.
• Abstract（参考訳）: 人間の3次元ポーズ推定(3D HPE)は、特にRGBベースの手法の領域において顕著な研究トピックとして現れている。 しかし、RGB画像は、照明条件に対する感度や潜在的なユーザ不愉快といった制限の影響を受けやすい。 その結果,非侵入型センサを利用したマルチモーダルセンシングが注目されている。 それでも、マルチモーダル3D HPEは、モダリティの不均衡や継続学習の必須条件など、依然として課題に直面している。 本稿では,RGB, LiDAR, mmWave, WiFiの電力を利用する3次元HPEのための, バランスの取れた連続マルチモーダル学習手法を提案する。 具体的には、各モダリティの寄与を定量化し、モダリティの不均衡を特定するために、Shapley値に基づくコントリビューションアルゴリズムを提案する。 この不均衡に対処するために、私たちは再学習戦略を採用しています。 さらに, 生データが騒音汚染に起因していることを認識し, 新たな認知型連続学習手法を開発した。 このアプローチではノイズ識別と分離モジュールを組み、ノイズの悪影響を軽減するとともに、バランスの取れた学習戦略と連携して最適化を強化する。 さらに、破滅的な忘れを緩和するために適応的なEWC機構が用いられる。 我々は,広義のマルチモーダルデータセットMM-Fiの広範な実験を行い,複雑なシナリオにおける3次元ポーズ推定の促進と破滅的な忘れの軽減におけるアプローチの優位性を実証した。 私たちはコードを公開します。

関連論文リスト

• RADAR: Robust Two-stage Modality-incomplete Industrial Anomaly Detection [61.71770293720491]
  本稿では,2段階のロバスト・モードアリティ不完全融合とFlaAmewoRkの検出について提案する。 我々のブートストラッピング哲学は、MIIADの2段階を強化し、マルチモーダルトランスの堅牢性を向上させることである。 実験の結果,提案手法は従来のMIAD法よりも有効性とロバスト性に優れていた。
  論文  参考訳（メタデータ） (2024-10-02T16:47:55Z)
• Evaluating BM3D and NBNet: A Comprehensive Study of Image Denoising Across Multiple Datasets [10.15569443251672]
  本稿では,ブロックマッチング3Dで表現される従来の非学習手法と,NBNetで例証した現代の学習手法との比較を行った。 これらのアプローチは、CURE-OR、CURE-TSR、Set-12、Chest-Xrayなど、さまざまなデータセットにわたって評価する。 BM3Dは曖昧な課題のようなシナリオに優れるが、NBNetは低露光や過剰露光のような複雑なノイズ環境においてより効果的である。
  論文  参考訳（メタデータ） (2024-08-11T04:54:52Z)
• Robust Multimodal 3D Object Detection via Modality-Agnostic Decoding and Proximity-based Modality Ensemble [15.173314907900842]
  既存の3Dオブジェクト検出方法は、LiDARセンサーに大きく依存している。 我々は,LiDAR過信頼問題に対処するためにMEFormerを提案する。 我々のMEFormerは73.9% NDSと71.5% mAPの最先端性能を実現している。
  論文  参考訳（メタデータ） (2024-07-27T03:21:44Z)
• Semi-supervised Anomaly Detection via Adaptive Reinforcement Learning-Enabled Method with Causal Inference for Sensor Signals [15.249261198557218]
  センサ信号の半教師付き異常検出は、スマート製造におけるシステムの信頼性確保に不可欠である。 本稿では,三重補足型因果強化学習モデル(Tri-CRLAD)を革新的に構築する。 7つのセンサ信号データセットに対する実験結果から、Tri-CRLADは9つの最先端のベースライン法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-11T06:10:05Z)
• Digging into contrastive learning for robust depth estimation with diffusion models [55.62276027922499]
  そこで我々はD4RDと呼ばれる新しい頑健な深度推定法を提案する。 複雑な環境での性能劣化を軽減するために、拡散モデルに適した独自のコントラスト学習モードを備えている。 実験では、D4RDは合成汚職データセットや現実世界の気象条件に関する最先端のソリューションを超越している。
  論文  参考訳（メタデータ） (2024-04-15T14:29:47Z)
• Egocentric RGB+Depth Action Recognition in Industry-Like Settings [50.38638300332429]
  本研究は,産業的な環境下での自我中心のRGBとDepthモダリティからの行動の認識に焦点を当てる。 我々のフレームワークは、RGBとDepthの両方のモダリティを効果的に符号化する3DビデオSWIN変換器に基づいている。 また,ICIAP 2023におけるマルチモーダル動作認識チャレンジにおいて,本手法が第1位を確保した。
  論文  参考訳（メタデータ） (2023-09-25T08:56:22Z)
• Mutual Information-calibrated Conformal Feature Fusion for Uncertainty-Aware Multimodal 3D Object Detection at the Edge [1.7898305876314982]
  3次元(3D)物体検出は、重要なロボティクスの操作であり、大きな進歩を遂げている。 本研究は,共形推論の原理と情報理論測度を統合し,モンテカルロ自由な不確実性推定を行う。 このフレームワークは、KITTIの3Dオブジェクト検出ベンチマークにおいて、不確実性に気付かない類似のメソッドと同等またはより良いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-09-18T09:02:44Z)
• Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
  低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。 これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。 まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。 次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
  論文  参考訳（メタデータ） (2023-05-17T13:56:48Z)
• Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
  本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
  論文  参考訳（メタデータ） (2023-01-18T04:54:58Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)
• Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
  連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。 破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。 微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-30T06:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。