論文の概要: Diffbody: Diffusion-based Pose and Shape Editing of Human Images

• arxiv url: http://arxiv.org/abs/2401.02804v1
• Date: Fri, 5 Jan 2024 13:36:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-08 15:06:27.543911
• Title: Diffbody: Diffusion-based Pose and Shape Editing of Human Images
• Title（参考訳）: diffbody:拡散ベースのポーズと人間の画像の形状編集
• Authors: Yuta Okuyama, Yuki Endo, Yoshihiro Kanamori
• Abstract要約: 本稿では,アイデンティティを保存した大規模な編集を可能にするワンショットアプローチを提案する。 大きな編集を可能にするため、3Dボディモデルに適合し、入力画像を3Dモデルに投影し、身体のポーズと形状を変更する。 我々は、自己教師付き学習によるテキスト埋め込みを微調整することで、現実主義をさらに強化する。
• 参考スコア（独自算出の注目度）: 1.7188280334580193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pose and body shape editing in a human image has received increasing attention. However, current methods often struggle with dataset biases and deteriorate realism and the person's identity when users make large edits. We propose a one-shot approach that enables large edits with identity preservation. To enable large edits, we fit a 3D body model, project the input image onto the 3D model, and change the body's pose and shape. Because this initial textured body model has artifacts due to occlusion and the inaccurate body shape, the rendered image undergoes a diffusion-based refinement, in which strong noise destroys body structure and identity whereas insufficient noise does not help. We thus propose an iterative refinement with weak noise, applied first for the whole body and then for the face. We further enhance the realism by fine-tuning text embeddings via self-supervised learning. Our quantitative and qualitative evaluations demonstrate that our method outperforms other existing methods across various datasets.
• Abstract（参考訳）: 人間の画像における姿勢と身体形状の編集に注目が集まっている。 しかし、現在の手法は、ユーザーが大規模な編集を行うとき、しばしばデータセットバイアスと現実主義を悪化させる。 本稿では,アイデンティティを保存した大規模な編集を可能にするワンショットアプローチを提案する。 大きな編集を可能にするため、3Dボディモデルに適合し、入力画像を3Dモデルに投影し、身体のポーズと形状を変更する。 この初期テクスチャボディーモデルは、閉塞や不正確な体形によるアーティファクトを有するため、強いノイズが体の構造やアイデンティティを損なうが、不十分なノイズは役に立たない拡散ベースの精細化を行う。 そこで我々は,まず体全体に適用し,次に顔に適応する,ノイズの少ない反復的な改良を提案する。 自己教師付き学習によるテキスト埋め込みの微調整により、リアリズムをさらに強化する。 定量的および定性的な評価は,本手法が他の既存手法よりも優れていることを示す。

関連論文リスト

• SiTH: Single-view Textured Human Reconstruction with Image-Conditioned Diffusion [35.73448283467723]
  SiTHは、イメージ条件付き拡散モデルと3Dメッシュ再構築ワークフローを統合する、新しいパイプラインである。 我々は、入力画像に基づいて、見えないバックビューの外観を幻覚させるために、強力な生成拡散モデルを用いる。 後者では,入力画像とバックビュー画像から全身のテクスチャメッシュを復元するためのガイダンスとして,肌付きボディーメッシュを利用する。
  論文  参考訳（メタデータ） (2023-11-27T14:22:07Z)
• Cloth2Body: Generating 3D Human Body Mesh from 2D Clothing [54.29207348918216]
  Cloth2Bodyは、入力の部分的な観察と出力の多様性によって引き起こされる新しい課題に対処する必要がある。 本稿では,2次元衣料品画像のポーズと形状によってパラメータ化された3Dボディメッシュを高精度に推定できるエンドツーエンドフレームワークを提案する。 実験結果から示されるように,提案手法は最先端の性能を実現し,自然および多様な3Dボディメッシュを2次元画像から効果的に回収することができる。
  論文  参考訳（メタデータ） (2023-09-28T06:18:38Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• Single-view 3D Body and Cloth Reconstruction under Complex Poses [37.86174829271747]
  既存の暗黙の関数ベースモデルを拡張して、任意のポーズと自己排他的な手足を持つ人間の画像を扱う。 入力画像を低精細度で3次元のボディ形状にマッピングする暗黙の関数を学習する。 次に、スムーズな表面を条件とした変位マップを学習し、衣服や身体の高周波の詳細を符号化する。
  論文  参考訳（メタデータ） (2022-05-09T07:34:06Z)
• DANBO: Disentangled Articulated Neural Body Representations via Graph Neural Networks [12.132886846993108]
  高解像度モデルは、写真リアリスティックなアバターを可能にするが、エンドユーザーには利用できないスタジオ設定を必要とするコストがかかる。 私たちのゴールは、高価なスタジオのセットアップや表面追跡に頼ることなく、生画像から直接アバターを作ることです。 本稿では,2つの帰納バイアスを誘導する3段階の手法を提案する。
  論文  参考訳（メタデータ） (2022-05-03T17:56:46Z)
• NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks [50.40798258968408]
  本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。 ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-20T09:02:13Z)
• Learning Realistic Human Reposing using Cyclic Self-Supervision with 3D Shape, Pose, and Appearance Consistency [55.94908688207493]
  画像品質のギャップを教師付き手法で埋める自己教師型フレームワークSPICEを提案する。 自己超越を可能にする重要な洞察は、様々な方法で人体に関する3D情報を活用することである。 SPICEはDeepFashionデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-10-11T17:48:50Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)
• Multi-View Consistency Loss for Improved Single-Image 3D Reconstruction of Clothed People [36.30755368202957]
  本稿では,1枚の画像から3次元人物形状復元の精度を向上させるための新しい手法を提案する。 衣服、髪、体の大きさ、ポーズ、カメラの視点などによる形状の変化が大きいため、衣服の復元の正確さと完全性は限られている。
  論文  参考訳（メタデータ） (2020-09-29T17:18:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。