論文の概要: 3D Hand Mesh-Guided AI-Generated Malformed Hand Refinement with Hand Pose Transformation via Diffusion Model

• arxiv url: http://arxiv.org/abs/2506.12680v1
• Date: Sun, 15 Jun 2025 01:30:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:46.692788
• Title: 3D Hand Mesh-Guided AI-Generated Malformed Hand Refinement with Hand Pose Transformation via Diffusion Model
• Title（参考訳）: 拡散モデルによるハンドポーズ変換を用いた3Dハンドメッシュ誘導型AIによる奇形ハンドリファインメント
• Authors: Chen-Bin Feng, Kangdao Liu, Jian Sun, Jiping Jin, Yiguo Jiang, Chi-Man Vong,
• Abstract要約: 本稿では,拡散パイプラインを用いた3次元メッシュ誘導精製フレームワークを提案する。 トレーニングのために、RGB画像と3Dハンドメッシュからなるデータセットを収集し、再注釈する。 次に,3次元ハンドメッシュで導かれる洗練された出力を生成する拡散塗装モデルを設計する。
• 参考スコア（独自算出の注目度）: 40.20849519857311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The malformed hands in the AI-generated images seriously affect the authenticity of the images. To refine malformed hands, existing depth-based approaches use a hand depth estimator to guide the refinement of malformed hands. Due to the performance limitations of the hand depth estimator, many hand details cannot be represented, resulting in errors in the generated hands, such as confusing the palm and the back of the hand. To solve this problem, we propose a 3D mesh-guided refinement framework using a diffusion pipeline. We use a state-of-the-art 3D hand mesh estimator, which provides more details of the hands. For training, we collect and reannotate a dataset consisting of RGB images and 3D hand mesh. Then we design a diffusion inpainting model to generate refined outputs guided by 3D hand meshes. For inference, we propose a double check algorithm to facilitate the 3D hand mesh estimator to obtain robust hand mesh guidance to obtain our refined results. Beyond malformed hand refinement, we propose a novel hand pose transformation method. It increases the flexibility and diversity of the malformed hand refinement task. We made the restored images mimic the hand poses of the reference images. The pose transformation requires no additional training. Extensive experimental results demonstrate the superior performance of our proposed method.
• Abstract（参考訳）: AI生成画像の不正な手は、画像の信頼性に深刻な影響を及ぼす。 既成の深度に基づくアプローチでは,手深度推定器を用いて手深度推定を行い,手深度推定を行う。 手深度推定器の性能制限のため、多くの手細部を表現できないため、手のひらと手裏を紛らわすような、生成された手のエラーが発生する。 この問題を解決するために,拡散パイプラインを用いた3次元メッシュ誘導精製フレームワークを提案する。 我々は最先端の3Dハンドメッシュ推定器を使用し、手の詳細を提供する。 トレーニングのために、RGB画像と3Dハンドメッシュからなるデータセットを収集し、再注釈する。 そこで我々は3次元ハンドメッシュで導かれた洗練された出力を生成する拡散塗装モデルを設計した。 提案手法は,3次元手メッシュ推定器に頑健な手メッシュガイダンスを付与し,洗練された結果を得るための二重チェックアルゴリズムを提案する。 不正な手振り変換だけでなく,新しい手振り変換法を提案する。 これにより、不正な手改質作業の柔軟性と多様性が向上する。 我々は復元された画像に参照画像のポーズを模倣させた。 ポーズ変換は追加のトレーニングを必要としない。 その結果,提案手法の優れた性能が得られた。

関連論文リスト

• HandCraft: Anatomically Correct Restoration of Malformed Hands in Diffusion Generated Images [20.81706200561224]
  このような不正な手を取り戻すためのHandCraftを提案する。 これは、手のためのマスクと奥行き画像を自動的にコンディショニング信号として構築することで実現される。 我々のプラグアンドプレイハンド修復ソリューションは、既存の事前訓練拡散モデルと互換性がある。
  論文  参考訳（メタデータ） (2024-11-07T00:14:39Z)
• HandRefiner: Refining Malformed Hands in Generated Images by Diffusion-based Conditional Inpainting [72.95232302438207]
  拡散モデルは現実的な画像の生成において顕著な成功を収めた。 しかし、不正確な指数や不規則な形など、正確な人間の手を生成することに苦しむ。 本稿では,HandRefinerという軽量な後処理ソリューションを提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:52:08Z)
• Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation [59.3035531612715]
  既存の方法では、手のこもりが強かったり、ぼやけたりすると、手のポーズが難しい場合が多い。 ビデオでは、手の動きによって、片方のフレームに隠されたり、ぼやけたりして、手のさまざまな部分を観察することができる。 画像内の手の部分間の関係を暗黙的に推論するフレームワークであるDeformerを提案する。
  論文  参考訳（メタデータ） (2023-03-09T02:24:30Z)
• MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis [81.40640219844197]
  モノラルなRGB画像から3Dハンドポーズを推定することは重要だが難しい。 解決策は、高精度な3D手指キーポイントアノテーションを用いた大規模RGB手指画像のトレーニングである。 我々は,現実的で多様な3次元ポーズ保存ハンドイメージを合成する学習ベースアプローチを開発した。
  論文  参考訳（メタデータ） (2020-10-02T18:27:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。