論文の概要: DiffHand: End-to-End Hand Mesh Reconstruction via Diffusion Models

• arxiv url: http://arxiv.org/abs/2305.13705v1
• Date: Tue, 23 May 2023 05:44:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 18:42:59.090636
• Title: DiffHand: End-to-End Hand Mesh Reconstruction via Diffusion Models
• Title（参考訳）: DiffHand:拡散モデルによるエンドツーエンドハンドメッシュ再構築
• Authors: Lijun Li, Li'an Zhuo, Bang Zhang, Liefeng Bo, Chen Chen
• Abstract要約: DiffHandは、手メッシュ再構成をデノナイズした拡散プロセスとして活用する最初の拡散ベースのフレームワークである。 そこで我々は, ノイズの多い手メッシュを徐々に洗練させ, 画像自体に基づいて, 高い確率でメッシュを選択するようにデノナイズ拡散過程を再構成する。 本手法は,Freihandテストセットで5.8mm PA-MPJPE,DexYCBテストセットで4.98mm PA-MPJPEを達成し,最先端の手メッシュ再構築手法よりも優れている。
• 参考スコア（独自算出の注目度）: 22.075139447911177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hand mesh reconstruction from the monocular image is a challenging task due to its depth ambiguity and severe occlusion, there remains a non-unique mapping between the monocular image and hand mesh. To address this, we develop DiffHand, the first diffusion-based framework that approaches hand mesh reconstruction as a denoising diffusion process. Our one-stage pipeline utilizes noise to model the uncertainty distribution of the intermediate hand mesh in a forward process. We reformulate the denoising diffusion process to gradually refine noisy hand mesh and then select mesh with the highest probability of being correct based on the image itself, rather than relying on 2D joints extracted beforehand. To better model the connectivity of hand vertices, we design a novel network module called the cross-modality decoder. Extensive experiments on the popular benchmarks demonstrate that our method outperforms the state-of-the-art hand mesh reconstruction approaches by achieving 5.8mm PA-MPJPE on the Freihand test set, 4.98mm PA-MPJPE on the DexYCB test set.
• Abstract（参考訳）: 単眼画像からの手メッシュ再構築は, 深度あいまいさと重度閉塞性のため困難な作業であり, 単眼画像と手メッシュとの間には特異なマッピングが残っている。 そこで我々は,手メッシュ再構成をデノナイズ拡散プロセスとして活用する最初の拡散基盤フレームワークであるDiffHandを開発した。 1段階のパイプラインではノイズを利用して,中間ハンドメッシュの不確実性分布をフォワードプロセスでモデル化する。 ノイズの多い手メッシュを徐々に洗練し,画像自体に基づいて高い確率でメッシュを選択し,事前に抽出した2次元関節に頼らずに拡散過程を再構築する。 ハンド頂点の接続性をモデル化するために,クロスモダリティデコーダと呼ばれる新しいネットワークモジュールを設計する。 本手法は,Freihandテストセットで5.8mm PA-MPJPE,DexYCBテストセットで4.98mm PA-MPJPEを達成して,最先端の手メッシュ再構築手法よりも優れていることを示す。

関連論文リスト

• Monocular 3D Hand Mesh Recovery via Dual Noise Estimation [47.82179706128616]
  画像によく整合したメッシュを生成するための二重雑音推定手法を提案する。 提案手法は,大規模なInterhand2.6Mデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-12-26T07:21:01Z)
• D-SCo: Dual-Stream Conditional Diffusion for Monocular Hand-Held Object Reconstruction [74.49121940466675]
  モノクローナルハンドヘルドオブジェクト再構成のためのCentroid-fixed dual-stream conditionalfusionを導入する。 まず、対象のセントロイドがずれることを避けるために、手動制約付きセントロイド固定パラダイムを用いる。 第2に、意味的および幾何学的に手動物体の相互作用をモデル化するための二重ストリームデノイザを導入する。
  論文  参考訳（メタデータ） (2023-11-23T20:14:50Z)
• Distribution-Aligned Diffusion for Human Mesh Recovery [16.64567393672489]
  本稿では,人間のメッシュ回復のための拡散に基づくアプローチを提案する。 本稿では,メッシュ回復を逆拡散過程とするHuman Mesh Diffusion(HMDiff)フレームワークを提案する。 提案手法は, 広く使用されている3つのデータセットに対して, 最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-08-25T13:29:31Z)
• ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
  この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。 提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。 提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
  論文  参考訳（メタデータ） (2023-07-15T04:48:35Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Multiscale Structure Guided Diffusion for Image Deblurring [24.09642909404091]
  拡散確率モデル (DPM) は画像の劣化に用いられている。 暗黙のバイアスとして、単純だが効果的なマルチスケール構造ガイダンスを導入する。 目に見えないデータのアーティファクトが少ないほど、より堅牢なデブロアリング結果を示します。
  論文  参考訳（メタデータ） (2022-12-04T10:40:35Z)
• MIDMs: Matching Interleaved Diffusion Models for Exemplar-based Image Translation [29.03892463588357]
  マッチング型インターリーブド拡散モデル (MIDM) と呼ばれる, 画像翻訳のための新しい手法を提案する。 拡散に基づくマッチング・アンド・ジェネレーション・フレームワークを定式化し、ドメイン間マッチングと拡散ステップを潜時空間でインターリーブする。 拡散過程の信頼性を向上させるため,サイクル整合性を用いた信頼度対応プロセスの設計を行い,信頼度の高い領域のみを考える。
  論文  参考訳（メタデータ） (2022-09-22T14:43:52Z)
• Deblurring via Stochastic Refinement [85.42730934561101]
  条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。 提案手法は,PSNRなどの歪み指標の点で競合する。
  論文  参考訳（メタデータ） (2021-12-05T04:36:09Z)
• DWDN: Deep Wiener Deconvolution Network for Non-Blind Image Deblurring [66.91879314310842]
  本稿では,古典的なWienerデコンボリューションフレームワークを学習深い特徴と統合することにより,特徴空間における明示的なデコンボリューションプロセスを提案する。 マルチスケールのカスケード機能改善モジュールは、分離された深い特徴から退色画像を予測する。 提案したDeep Wienerデコンボリューションネットワークは,目に見える成果物が少なく,かつ,最先端の非盲点画像デコンボリューション手法を広いマージンで定量的に上回っていることを示す。
  論文  参考訳（メタデータ） (2021-03-18T00:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。