論文の概要: DPMesh: Exploiting Diffusion Prior for Occluded Human Mesh Recovery

• arxiv url: http://arxiv.org/abs/2404.01424v1
• Date: Mon, 1 Apr 2024 18:59:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 20:47:06.168437
• Title: DPMesh: Exploiting Diffusion Prior for Occluded Human Mesh Recovery
• Title（参考訳）: DPMesh:人間メッシュの回収に先立って拡散を爆発させる
• Authors: Yixuan Zhu, Ao Li, Yansong Tang, Wenliang Zhao, Jie Zhou, Jiwen Lu,
• Abstract要約: DPMeshは、人間のメッシュリカバリを排除した革新的なフレームワークである。 これは、事前訓練されたテキスト・ツー・イメージ拡散モデルに埋め込まれた対象構造と空間的関係について、より深い拡散に乗じる。
• 参考スコア（独自算出の注目度）: 71.6345505427213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recovery of occluded human meshes presents challenges for current methods due to the difficulty in extracting effective image features under severe occlusion. In this paper, we introduce DPMesh, an innovative framework for occluded human mesh recovery that capitalizes on the profound diffusion prior about object structure and spatial relationships embedded in a pre-trained text-to-image diffusion model. Unlike previous methods reliant on conventional backbones for vanilla feature extraction, DPMesh seamlessly integrates the pre-trained denoising U-Net with potent knowledge as its image backbone and performs a single-step inference to provide occlusion-aware information. To enhance the perception capability for occluded poses, DPMesh incorporates well-designed guidance via condition injection, which produces effective controls from 2D observations for the denoising U-Net. Furthermore, we explore a dedicated noisy key-point reasoning approach to mitigate disturbances arising from occlusion and crowded scenarios. This strategy fully unleashes the perceptual capability of the diffusion prior, thereby enhancing accuracy. Extensive experiments affirm the efficacy of our framework, as we outperform state-of-the-art methods on both occlusion-specific and standard datasets. The persuasive results underscore its ability to achieve precise and robust 3D human mesh recovery, particularly in challenging scenarios involving occlusion and crowded scenes.
• Abstract（参考訳）: 閉鎖されたヒトメッシュの回収は、強力な閉塞下での効果的な画像特徴の抽出が困難であるため、現在の手法の課題を提起する。 本稿では,事前学習したテキスト・画像拡散モデルに埋め込まれたオブジェクト構造と空間的関係に先行する深層拡散を生かした,人間のメッシュ回復のための革新的なフレームワークであるDPMeshを紹介する。 バニラ特徴抽出のための従来のバックボーンに依存した従来の方法とは異なり、DPMeshは訓練済みのデノイングU-Netを画像バックボーンとして強力な知識でシームレスに統合し、オクルージョン認識情報を提供するシングルステップ推論を実行する。 隠蔽ポーズの知覚能力を高めるため、DPMeshは条件注入によるよく設計されたガイダンスを導入し、U-Netの2次元観察から効果的に制御する。 さらに,閉ざされたシナリオや混み合ったシナリオから生じる障害を緩和するための,専用ノイズの多いキーポイント推論手法について検討する。 この戦略は、拡散の知覚能力を完全に解き、精度を向上する。 包括的実験により、オクルージョン特化データセットと標準データセットの両方で最先端の手法を上回り、我々のフレームワークの有効性が確認された。 説得力のある結果は、特に閉塞や混み合ったシーンを含む困難なシナリオにおいて、正確で堅牢な3Dメッシュ回復を実現する能力を強調している。

関連論文リスト

• Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration [64.84134880709625]
  拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。 特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。 拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-26T17:40:30Z)
• Digging into contrastive learning for robust depth estimation with diffusion models [55.62276027922499]
  そこで我々はD4RDと呼ばれる新しい頑健な深度推定法を提案する。 複雑な環境での性能劣化を軽減するために、拡散モデルに適した独自のコントラスト学習モードを備えている。 実験では、D4RDは合成汚職データセットや現実世界の気象条件に関する最先端のソリューションを超越している。
  論文  参考訳（メタデータ） (2024-04-15T14:29:47Z)
• DMAT: A Dynamic Mask-Aware Transformer for Human De-occlusion [5.901982216097867]
  人間の非閉塞性は、隠蔽された画像から見えない人間の部分の外観を推測することを目的としている。 本稿では,人間領域からの情報を動的に拡張する動的マスク認識変換器(DMAT)を提案する。 AHPデータセットの実験は、最近の最先端手法と比較して優れた性能を示している。
  論文  参考訳（メタデータ） (2024-02-07T03:36:41Z)
• A comprehensive framework for occluded human pose estimation [10.92234109536279]
  咬合は人間のポーズ推定において重要な課題である。 そこで我々は,DAG (Data, Attention, Graph) を提案する。 また、FGMP-GCN (Feature-Guided Multi-Hop GCN) を提示し、身体構造に関する事前知識を十分に探求し、ポーズ推定結果を改善する。
  論文  参考訳（メタデータ） (2023-12-30T06:55:30Z)
• Distribution-Aligned Diffusion for Human Mesh Recovery [16.64567393672489]
  本稿では,人間のメッシュ回復のための拡散に基づくアプローチを提案する。 本稿では,メッシュ回復を逆拡散過程とするHuman Mesh Diffusion(HMDiff)フレームワークを提案する。 提案手法は, 広く使用されている3つのデータセットに対して, 最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-08-25T13:29:31Z)
• CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion Models [72.93652777646233]
  カモフラーゲ型物体検出(COD)は、カモフラーゲ型物体とその周囲の類似性が高いため、コンピュータビジョンにおいて難しい課題である。 本研究では,CODを拡散モデルを利用した条件付きマスク生成タスクとして扱う新しいパラダイムを提案する。 カモ拡散(CamoDiffusion)と呼ばれる本手法では,拡散モデルのデノナイズプロセスを用いてマスクの雑音を反復的に低減する。
  論文  参考訳（メタデータ） (2023-05-29T07:49:44Z)
• The role of noise in denoising models for anomaly detection in medical images [62.0532151156057]
  病理脳病変は脳画像に多彩な外観を示す。 正規データのみを用いた教師なし異常検出手法が提案されている。 空間分解能の最適化と雑音の大きさの最適化により,異なるモデル学習体制の性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-01-19T21:39:38Z)
• Explicit Occlusion Reasoning for Multi-person 3D Human Pose Estimation [33.86986028882488]
  咬合は, 咬合者の形状, 外観, 位置の変動が大きいため, 単眼多面体3次元ポーズ推定において大きな脅威となる。 既存のメソッドは、ポーズ先/制約、データ拡張、暗黙の推論でオクルージョンを処理しようとする。 本研究では、ボトムアップ型多人数ポーズ推定を大幅に改善する、このプロセスを明示的にモデル化する手法を開発した。
  論文  参考訳（メタデータ） (2022-07-29T22:12:50Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。