論文の概要: HandRefiner: Refining Malformed Hands in Generated Images by
Diffusion-based Conditional Inpainting
- arxiv url: http://arxiv.org/abs/2311.17957v1
- Date: Wed, 29 Nov 2023 08:52:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 19:24:10.093044
- Title: HandRefiner: Refining Malformed Hands in Generated Images by
Diffusion-based Conditional Inpainting
- Title(参考訳): HandRefiner:拡散型条件印加による画像中の奇形ハンドの精製
- Authors: Wenquan Lu, Yufei Xu, Jing Zhang, Chaoyue Wang, Dacheng Tao
- Abstract要約: 拡散モデルは現実的な画像の生成において顕著な成功を収めた。
しかし、不正確な指数や不規則な形など、正確な人間の手を生成することに苦しむ。
本稿では,HandRefinerという軽量な後処理ソリューションを提案する。
- 参考スコア(独自算出の注目度): 78.2666045998905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models have achieved remarkable success in generating realistic
images but suffer from generating accurate human hands, such as incorrect
finger counts or irregular shapes. This difficulty arises from the complex task
of learning the physical structure and pose of hands from training images,
which involves extensive deformations and occlusions. For correct hand
generation, our paper introduces a lightweight post-processing solution called
$\textbf{HandRefiner}$. HandRefiner employs a conditional inpainting approach
to rectify malformed hands while leaving other parts of the image untouched. We
leverage the hand mesh reconstruction model that consistently adheres to the
correct number of fingers and hand shape, while also being capable of fitting
the desired hand pose in the generated image. Given a generated failed image
due to malformed hands, we utilize ControlNet modules to re-inject such correct
hand information. Additionally, we uncover a phase transition phenomenon within
ControlNet as we vary the control strength. It enables us to take advantage of
more readily available synthetic data without suffering from the domain gap
between realistic and synthetic hands. Experiments demonstrate that HandRefiner
can significantly improve the generation quality quantitatively and
qualitatively. The code is available at
https://github.com/wenquanlu/HandRefiner .
- Abstract(参考訳): 拡散モデルは写実的画像の生成に顕著な成功を収めているが、不正確な指数や不規則な形状などの正確な手を生成するのに苦しむ。
この困難は、広範囲な変形と閉塞を伴う訓練画像から手の構造とポーズを学ぶという複雑な作業から生じる。
正しいハンド生成のために、本稿では$\textbf{handrefiner}$という軽量なポストプロセッシングソリューションを紹介します。
HandRefinerは、画像の他の部分を無傷で残しながら、不整形手を修正するための条件付き塗装アプローチを採用している。
適切な指数と手形に一貫して付着するハンドメッシュ再構成モデルを利用し,生成された画像に所望のハンドポーズを適合させることができる。
不正な手による画像生成が失敗した場合, controlnet モジュールを用いてその正確な手情報を再入力する。
さらに,制御強度の変化に伴い,制御ネット内の位相遷移現象を明らかにする。
これにより、現実的な手と合成手のドメインギャップに悩まされることなく、より簡単に利用できる合成データを活用することができる。
実験により、HandRefinerは生成品質を定量的に質的に著しく改善できることが示された。
コードはhttps://github.com/wenquanlu/HandRefinerで入手できる。
関連論文リスト
- HanDiffuser: Text-to-Image Generation With Realistic Hand Appearances [36.55820649379848]
テキスト・ツー・イメージ生成モデルは高品質な人間を生み出すことができるが、現実主義は手を生成する際に失われる。
一般的なアーティファクトには、不規則な手ポーズ、形、不正確な指の数、物理的に不明瞭な指の向きなどがある。
そこで我々はHanDiffuserという新しい拡散型アーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-03-04T03:00:22Z) - Detecting and Restoring Non-Standard Hands in Stable Diffusion Generated
Images [22.741144753593463]
安定拡散画像における解剖学的不正確性に対処するパイプラインを提案する。
微調整検出モデルは、異常を正確に識別するために重要であり、ターゲットの修正を保証する。
身体のポーズ推定は、正確な異常修正に不可欠な手振りと位置の理解を助ける。
論文 参考訳(メタデータ) (2023-12-07T11:41:26Z) - HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。
我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
論文 参考訳(メタデータ) (2023-03-24T06:19:19Z) - Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation [59.3035531612715]
既存の方法では、手のこもりが強かったり、ぼやけたりすると、手のポーズが難しい場合が多い。
ビデオでは、手の動きによって、片方のフレームに隠されたり、ぼやけたりして、手のさまざまな部分を観察することができる。
画像内の手の部分間の関係を暗黙的に推論するフレームワークであるDeformerを提案する。
論文 参考訳(メタデータ) (2023-03-09T02:24:30Z) - Im2Hands: Learning Attentive Implicit Representation of Interacting
Two-Hand Shapes [58.551154822792284]
Implicit Two Hands (Im2Hands) は、2つの相互作用する手の最初の暗黙の表現である。
Im2Handsは、両手と手と手と画像のコヒーレンシーの高い2つの手のきめ細かい幾何学を生成することができる。
両手再建におけるIm2Handsの有効性を, 関連手法と比較して実験的に実証した。
論文 参考訳(メタデータ) (2023-02-28T06:38:25Z) - DeepHandMesh: A Weakly-supervised Deep Encoder-Decoder Framework for
High-fidelity Hand Mesh Modeling [75.69585456580505]
DeepHandMeshは、高忠実度ハンドメッシュモデリングのための弱教師付きディープエンコーダデコーダフレームワークである。
また,一般画像からの3次元手メッシュ推定にも有効であることを示す。
論文 参考訳(メタデータ) (2020-08-19T00:59:51Z) - Leveraging Photometric Consistency over Time for Sparsely Supervised
Hand-Object Reconstruction [118.21363599332493]
本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。
本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。
提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
論文 参考訳(メタデータ) (2020-04-28T12:03:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。