論文の概要: InstructHumans: Editing Animated 3D Human Textures with Instructions
- arxiv url: http://arxiv.org/abs/2404.04037v1
- Date: Fri, 5 Apr 2024 11:45:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-08 16:14:58.183797
- Title: InstructHumans: Editing Animated 3D Human Textures with Instructions
- Title（参考訳）: InstructHumans: アニメーション化された3Dテクスチャをインストラクションで編集する
- Authors: Jiayin Zhu, Linlin Yang, Angela Yao,
- Abstract要約: InstructHumansは命令駆動型ヒューマンテクスチャ編集のための新しいフレームワークである。
InstructHumansは既存の3D編集方法よりも優れており、初期アバターと一致している。
- 参考スコア（独自算出の注目度）: 40.012406098563204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present InstructHumans, a novel framework for instruction-driven 3D human texture editing. Existing text-based editing methods use Score Distillation Sampling (SDS) to distill guidance from generative models. This work shows that naively using such scores is harmful to editing as they destroy consistency with the source avatar. Instead, we propose an alternate SDS for Editing (SDS-E) that selectively incorporates subterms of SDS across diffusion timesteps. We further enhance SDS-E with spatial smoothness regularization and gradient-based viewpoint sampling to achieve high-quality edits with sharp and high-fidelity detailing. InstructHumans significantly outperforms existing 3D editing methods, consistent with the initial avatar while faithful to the textual instructions. Project page: https://jyzhu.top/instruct-humans .
- Abstract（参考訳）: InstructHumansは命令駆動型ヒューマンテクスチャ編集のための新しいフレームワークである。
既存のテキストベースの編集方法は、Score Distillation Sampling (SDS) を用いて生成モデルからガイダンスを抽出する。
この研究は、このようなスコアを鼻で使うことは、ソースアバターとの整合性を損なうため、編集に有害であることを示している。
代わりに,SDSのサブタームを拡散時間ステップに選択的に組み込むSDS for Editing (SDS-E)を提案する。
さらに,SDS-Eを空間的滑らか度正規化と勾配に基づく視点サンプリングで拡張し,シャープで高忠実なディテールで高品質な編集を実現する。
InstructHumansは既存の3D編集方法よりも優れており、テキストの指示に忠実でありながら初期アバターと一致している。
プロジェクトページ: https://jyzhu.top/instruct-humans 。
関連論文リスト
- Semantic Score Distillation Sampling for Compositional Text-to-3D Generation [28.88237230872795]
テキスト記述から高品質な3Dアセットを生成することは、コンピュータグラフィックスと視覚研究において重要な課題である。
本稿では,合成テキストから3D生成までの表現性と精度の向上を目的とした新しいSDS手法を提案する。
我々のアプローチは、異なるレンダリングビュー間の一貫性を維持する新しいセマンティック埋め込みを統合する。
明示的な意味指導を活用することで,既存の事前学習拡散モデルの構成能力を解き放つ。
論文 参考訳（メタデータ） (2024-10-11T17:26:00Z) - Revealing Directions for Text-guided 3D Face Editing [52.85632020601518]
3次元顔編集はマルチメディアにおいて重要な課題であり、様々な制御信号間での3次元顔モデルの操作を目的としている。
任意の属性記述に基づく3次元顔の生成と操作のためのテキスト汎用アプローチであるFace Clanを提案する。
本手法は,ユーザがテキスト記述で興味のある領域を直感的にカスタマイズできる,正確に制御可能な操作方法を提供する。
論文 参考訳（メタデータ） (2024-10-07T12:04:39Z) - Preserving Identity with Variational Score for General-purpose 3D Editing [48.314327790451856]
Pivaは拡散モデルに基づいて画像や3Dモデルを編集する新しい最適化手法である。
我々は2Dと3Dの編集の限界を指摘し、細かな損失と過飽和を引き起こす。
恒常保存を強制する追加のスコア蒸留項を提案する。
論文 参考訳（メタデータ） (2024-06-13T09:32:40Z) - GSEdit: Efficient Text-Guided Editing of 3D Objects via Gaussian Splatting [10.527349772993796]
本稿では,Gaussian Splattingモデルに基づくテキスト誘導型3Dオブジェクト編集パイプラインであるGSEditを紹介する。
本手法では, 3Dオブジェクトの形状や外観の編集を, 消費者ハードウェア上で数分で行うことなく行うことができる。
論文 参考訳（メタデータ） (2024-03-08T08:42:23Z) - PaintHuman: Towards High-fidelity Text-to-3D Human Texturing via
Denoised Score Distillation [89.09455618184239]
テキスト・ツー・3D世代における最近の進歩は画期的なものである。
そこで我々はPaintHumanというモデルを提案し,その課題を2つの側面から解決する。
奥行きマップを手引きとして,現実的なセマンティックなテクスチャの整合性を保証する。
論文 参考訳（メタデータ） (2023-10-14T00:37:16Z) - Directional Texture Editing for 3D Models [51.31499400557996]
ITEM3D は textbf3D オブジェクトの自動編集のために設計されている。
拡散モデルと微分可能レンダリングを活用して、ITEM3Dはレンダリングされた画像をテキストと3D表現のブリッジとして取り込む。
論文 参考訳（メタデータ） (2023-09-26T12:01:13Z) - Delta Denoising Score [51.98288453616375]
テキストベースの画像編集のための新しいスコアリング機能であるDelta Denoising Score (DDS)を紹介する。
ターゲットプロンプトに記述された内容に対して、入力画像の最小限の変更を導く。
論文 参考訳（メタデータ） (2023-04-14T12:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。