論文の概要: TV-3DG: Mastering Text-to-3D Customized Generation with Visual Prompt

• arxiv url: http://arxiv.org/abs/2410.21299v2
• Date: Thu, 31 Oct 2024 02:13:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:57:20.979130
• Title: TV-3DG: Mastering Text-to-3D Customized Generation with Visual Prompt
• Title（参考訳）: TV-3DG:ビジュアルプロンプトによるテキストから3Dのカスタマイズ生成をマスターする
• Authors: Jiahui Yang, Donglin Di, Baorui Ma, Xun Yang, Yongjia Ma, Wenzhang Sun, Wei Chen, Jianxun Cui, Zhou Xue, Meng Wang, Yebin Liu,
• Abstract要約: 我々は、スコア蒸留サンプリング(SDS)における差項を除去する新しいアルゴリズム、スコアマッチング(CSM)を提案する。 我々は視覚的プロンプト情報を注意融合機構とサンプリング誘導手法と統合し、Visual Prompt CSMアルゴリズムを構成する。 本手法をTV-3DGとして提示し,安定かつ高品質でカスタマイズされた3D生成を実現するための広範な実験を行った。
• 参考スコア（独自算出の注目度）: 41.880416357543616
• License:
• Abstract: In recent years, advancements in generative models have significantly expanded the capabilities of text-to-3D generation. Many approaches rely on Score Distillation Sampling (SDS) technology. However, SDS struggles to accommodate multi-condition inputs, such as text and visual prompts, in customized generation tasks. To explore the core reasons, we decompose SDS into a difference term and a classifier-free guidance term. Our analysis identifies the core issue as arising from the difference term and the random noise addition during the optimization process, both contributing to deviations from the target mode during distillation. To address this, we propose a novel algorithm, Classifier Score Matching (CSM), which removes the difference term in SDS and uses a deterministic noise addition process to reduce noise during optimization, effectively overcoming the low-quality limitations of SDS in our customized generation framework. Based on CSM, we integrate visual prompt information with an attention fusion mechanism and sampling guidance techniques, forming the Visual Prompt CSM (VPCSM) algorithm. Furthermore, we introduce a Semantic-Geometry Calibration (SGC) module to enhance quality through improved textual information integration. We present our approach as TV-3DG, with extensive experiments demonstrating its capability to achieve stable, high-quality, customized 3D generation. Project page: \url{https://yjhboy.github.io/TV-3DG}
• Abstract（参考訳）: 近年, 生成モデルの進歩により, テキスト・ツー・3D生成能力が大きく向上している。 多くのアプローチはスコア蒸留サンプリング(SDS)技術に依存している。 しかし、SDSは、カスタマイズされた生成タスクにおいて、テキストや視覚的プロンプトなどのマルチ条件入力に対応するのに苦労している。 主な理由を探るため、SDSを差分項と分類子フリーガイダンス項に分解する。 本分析では, 最適化過程における差分項とランダム雑音付加から生じるコア問題を同定し, 蒸留時のターゲットモードからの偏差に寄与する。 そこで本研究では,SDSの差分項を除去し,最適化時のノイズ低減に決定論的雑音付加処理を用いて,SDSの低品質制約を克服するアルゴリズムCSMを提案する。 CSMに基づいて,視覚的プロンプト情報と注意融合機構とサンプリング誘導手法を統合し,VPCSM(Visual Prompt CSM)アルゴリズムを形成する。 さらに,テキスト情報統合の改善による品質向上のために,セマンティック・ジオメトリ・キャリブレーション(SGC)モジュールを導入する。 本手法をTV-3DGとして提示し,安定かつ高品質でカスタマイズされた3D生成を実現するための広範な実験を行った。 プロジェクトページ: \url{https://yjhboy.github.io/TV-3DG}

関連論文リスト

• Semantic Score Distillation Sampling for Compositional Text-to-3D Generation [28.88237230872795]
  テキスト記述から高品質な3Dアセットを生成することは、コンピュータグラフィックスと視覚研究において重要な課題である。 本稿では,合成テキストから3D生成までの表現性と精度の向上を目的とした新しいSDS手法を提案する。 我々のアプローチは、異なるレンダリングビュー間の一貫性を維持する新しいセマンティック埋め込みを統合する。 明示的な意味指導を活用することで,既存の事前学習拡散モデルの構成能力を解き放つ。
  論文  参考訳（メタデータ） (2024-10-11T17:26:00Z)
• MVGaussian: High-Fidelity text-to-3D Content Generation with Multi-View Guidance and Surface Densification [13.872254142378772]
  本稿では,テキスト・ツー・3Dコンテンツ生成のための統合フレームワークを提案する。 提案手法は3次元モデルの構造を反復的に形成するために多視点誘導を利用する。 また,表面近傍にガウスを配向させる新しい密度化アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-09-10T16:16:34Z)
• VividDreamer: Towards High-Fidelity and Efficient Text-to-3D Generation [69.68568248073747]
  拡散に基づく3次元生成タスクにおいて, ポーズ依存型連続蒸留サンプリング (PCDS) を提案する。 PCDSは拡散軌道内でポーズ依存整合関数を構築し、最小サンプリングステップで真の勾配を近似することができる。 そこで我々は,まず1ステップのPCDSを用いて3Dオブジェクトの基本構造を作成し,さらに徐々にPCDSのステップを拡大して細かな細部を生成する,粗大な最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-21T08:21:52Z)
• ExactDreamer: High-Fidelity Text-to-3D Content Creation via Exact Score Matching [10.362259643427526]
  現在のアプローチは、しばしば3次元合成のために事前訓練された2次元拡散モデルを適用する。 過剰な平滑化は、3Dモデルの高忠実度生成に重大な制限をもたらす。 LucidDreamer は SDS における Denoising Diffusion Probabilistic Model (DDPM) を Denoising Diffusion Implicit Model (DDIM) に置き換える
  論文  参考訳（メタデータ） (2024-05-24T20:19:45Z)
• Flow Score Distillation for Diverse Text-to-3D Generation [23.38418695449777]
  フロースコア蒸留(FSD)は品質を損なうことなく生成の多様性を大幅に向上させる。 各種テキスト・画像拡散モデルを用いた検証実験により、FSDは品質を損なうことなく、生成の多様性を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-05-16T06:05:16Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• Learn to Optimize Denoising Scores for 3D Generation: A Unified and Improved Diffusion Prior on NeRF and 3D Gaussian Splatting [60.393072253444934]
  本稿では,3次元生成タスクの拡散先行性向上を目的とした統合フレームワークを提案する。 拡散先行と拡散モデルの訓練手順の相違を同定し、3次元生成の質を著しく損なう。
  論文  参考訳（メタデータ） (2023-12-08T03:55:34Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval Score Matching [33.696757740830506]
  テキストから3D生成の最近の進歩は、将来性を示している。 多くの手法がSDS(Score Distillation Sampling)に基づいている。 オーバー・スムーシングに対抗するために,ISM(Interval Score Matching)を提案する。
  論文  参考訳（メタデータ） (2023-11-19T09:59:09Z)
• Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
  本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
  論文  参考訳（メタデータ） (2022-03-09T16:17:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。