論文の概要: RewardSDS: Aligning Score Distillation via Reward-Weighted Sampling
- arxiv url: http://arxiv.org/abs/2503.09601v1
- Date: Wed, 12 Mar 2025 17:59:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-13 15:38:54.034931
- Title: RewardSDS: Aligning Score Distillation via Reward-Weighted Sampling
- Title(参考訳): RewardSDS: Reward-Weighted Smpling によるスコア蒸留の調整
- Authors: Itay Chachy, Guy Yariv, Sagie Benaim,
- Abstract要約: RewardSDSは、報酬モデルからのアライメントスコアに基づいてノイズサンプルを重み付けし、重み付けされたSDS損失を生成する。
この損失は、整列した高逆出力をもたらすノイズサンプルから勾配を優先する。
テキスト・ツー・イメージ,2D編集,テキスト・ツー・3D生成タスクにおいて,RewardSDSとRewardVSDを評価する。
- 参考スコア(独自算出の注目度): 14.725841457150414
- License:
- Abstract: Score Distillation Sampling (SDS) has emerged as an effective technique for leveraging 2D diffusion priors for tasks such as text-to-3D generation. While powerful, SDS struggles with achieving fine-grained alignment to user intent. To overcome this, we introduce RewardSDS, a novel approach that weights noise samples based on alignment scores from a reward model, producing a weighted SDS loss. This loss prioritizes gradients from noise samples that yield aligned high-reward output. Our approach is broadly applicable and can extend SDS-based methods. In particular, we demonstrate its applicability to Variational Score Distillation (VSD) by introducing RewardVSD. We evaluate RewardSDS and RewardVSD on text-to-image, 2D editing, and text-to-3D generation tasks, showing significant improvements over SDS and VSD on a diverse set of metrics measuring generation quality and alignment to desired reward models, enabling state-of-the-art performance. Project page is available at https://itaychachy. github.io/reward-sds/.
- Abstract(参考訳): SDS(Score Distillation Sampling)は,テキストから3D生成などのタスクに2次元拡散先行処理を有効活用する手法として登場した。
SDSは強力だが、ユーザの意図にきめ細やかなアライメントを達成するのに苦労している。
これを解決するために、報酬モデルからのアライメントスコアに基づいてノイズサンプルを重み付けし、重み付けされたSDS損失を生成するRewardSDSを導入する。
この損失は、整列した高逆出力をもたらすノイズサンプルから勾配を優先する。
我々のアプローチは広く適用でき、SDSベースの手法を拡張することができる。
特に, RewardVSDを導入して, 変量スコア蒸留(VSD)への適用性を示す。
本研究では,テキスト・ツー・イメージ,2D編集,テキスト・ツー・3D生成タスクにおいてRewardSDSとRewardVSDを評価した。
プロジェクトページはhttps://itaychachy.comで公開されている。
github.io/reward-sds/
関連論文リスト
- TV-3DG: Mastering Text-to-3D Customized Generation with Visual Prompt [41.880416357543616]
我々は、スコア蒸留サンプリング(SDS)における差項を除去する新しいアルゴリズム、スコアマッチング(CSM)を提案する。
我々は視覚的プロンプト情報を注意融合機構とサンプリング誘導手法と統合し、Visual Prompt CSMアルゴリズムを構成する。
本手法をTV-3DGとして提示し,安定かつ高品質でカスタマイズされた3D生成を実現するための広範な実験を行った。
論文 参考訳(メタデータ) (2024-10-16T07:13:09Z) - VividDreamer: Invariant Score Distillation For Hyper-Realistic Text-to-3D Generation [33.05759961083337]
Invariant Score Distillation (ISD) を提案する。
ISDは、スコア蒸留サンプリング(SDS)における過飽和および過平滑化問題に対処することを目的としている。
論文 参考訳(メタデータ) (2024-07-13T09:33:16Z) - ExactDreamer: High-Fidelity Text-to-3D Content Creation via Exact Score Matching [10.362259643427526]
現在のアプローチは、しばしば3次元合成のために事前訓練された2次元拡散モデルを適用する。
過剰な平滑化は、3Dモデルの高忠実度生成に重大な制限をもたらす。
LucidDreamer は SDS における Denoising Diffusion Probabilistic Model (DDPM) を Denoising Diffusion Implicit Model (DDIM) に置き換える
論文 参考訳(メタデータ) (2024-05-24T20:19:45Z) - Score Distillation via Reparametrized DDIM [14.754513907729878]
スコア蒸留サンプリングで用いられる画像誘導は, 2次元デノベーション生成過程の速度場として理解できることを示す。
本研究では,SDS更新ステップ毎にDDIMを反転させることにより,より優れたノイズ近似を復元可能であることを示す。
本手法は、他の最先端のスコア蒸留法と比較して、より良く、あるいは類似した3D生成品質を実現する。
論文 参考訳(メタデータ) (2024-05-24T19:22:09Z) - Flow Score Distillation for Diverse Text-to-3D Generation [23.38418695449777]
フロースコア蒸留(FSD)は品質を損なうことなく生成の多様性を大幅に向上させる。
各種テキスト・画像拡散モデルを用いた検証実験により、FSDは品質を損なうことなく、生成の多様性を大幅に向上することを示した。
論文 参考訳(メタデータ) (2024-05-16T06:05:16Z) - Consistent3D: Towards Consistent High-Fidelity Text-to-3D Generation with Deterministic Sampling Prior [87.55592645191122]
スコア蒸留サンプリング(SDS)とその変種は、テキスト・ツー・3D世代の発展を大幅に加速させたが、幾何崩壊やテクスチャの低下に弱い。
テキストから3D生成に先立ってODE決定論的サンプリングを探索する新しい「一貫性3D」手法を提案する。
実験により,高忠実で多様な3Dオブジェクトと大規模シーンの生成にConsistent3Dの有効性が示された。
論文 参考訳(メタデータ) (2024-01-17T08:32:07Z) - NeuSD: Surface Completion with Multi-View Text-to-Image Diffusion [56.98287481620215]
本稿では,対象物の一部のみを捉えた複数の画像から3次元表面再構成を行う手法を提案する。
提案手法は, 表面の可視部分の再構成に神経放射場を用いた表面再構成法と, SDS (Score Distillation Sampling) 方式で事前学習した2次元拡散モデルを用いて, 可観測領域の形状を再現する手法である。
論文 参考訳(メタデータ) (2023-12-07T19:30:55Z) - StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳(メタデータ) (2023-12-02T02:27:58Z) - Noise-Free Score Distillation [78.79226724549456]
ノイズフリースコア蒸留(NFSD)プロセスは、オリジナルのSDSフレームワークに最小限の変更を必要とする。
我々は,CFG尺度を用いて,事前学習したテキスト・画像拡散モデルのより効果的な蒸留を行う。
論文 参考訳(メタデータ) (2023-10-26T17:12:26Z) - Delta Denoising Score [51.98288453616375]
テキストベースの画像編集のための新しいスコアリング機能であるDelta Denoising Score (DDS)を紹介する。
ターゲットプロンプトに記述された内容に対して、入力画像の最小限の変更を導く。
論文 参考訳(メタデータ) (2023-04-14T12:22:41Z) - Auto-Weighted Layer Representation Based View Synthesis Distortion
Estimation for 3-D Video Coding [78.53837757673597]
本稿では,自動重み付け層表現に基づくビュー合成歪み推定モデルを提案する。
提案手法は, 精度, 効率の両面において, 最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2022-01-07T12:12:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。