論文の概要: DyMO: Training-Free Diffusion Model Alignment with Dynamic Multi-Objective Scheduling

• arxiv url: http://arxiv.org/abs/2412.00759v3
• Date: Tue, 25 Mar 2025 08:53:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 20:14:14.727703
• Title: DyMO: Training-Free Diffusion Model Alignment with Dynamic Multi-Objective Scheduling
• Title（参考訳）: DyMO:動的多目的スケジューリングによる学習自由拡散モデルアライメント
• Authors: Xin Xie, Dong Gong,
• Abstract要約: 推論中に生成した画像と人間の嗜好を調整するためのトレーニング不要アライメント手法DyMOを提案する。 テキスト認識された人間の嗜好スコアとは別に、拡散の初期における意味的アライメントを強化する意味的アライメントの目的を導入する。 種々の事前学習拡散モデルとメトリクスを用いた実験は,提案手法の有効性とロバスト性を示す。
• 参考スコア（独自算出の注目度）: 14.621456944266802
• License:
• Abstract: Text-to-image diffusion model alignment is critical for improving the alignment between the generated images and human preferences. While training-based methods are constrained by high computational costs and dataset requirements, training-free alignment methods remain underexplored and are often limited by inaccurate guidance. We propose a plug-and-play training-free alignment method, DyMO, for aligning the generated images and human preferences during inference. Apart from text-aware human preference scores, we introduce a semantic alignment objective for enhancing the semantic alignment in the early stages of diffusion, relying on the fact that the attention maps are effective reflections of the semantics in noisy images. We propose dynamic scheduling of multiple objectives and intermediate recurrent steps to reflect the requirements at different steps. Experiments with diverse pre-trained diffusion models and metrics demonstrate the effectiveness and robustness of the proposed method.
• Abstract（参考訳）: テキストから画像への拡散モデルアライメントは、生成された画像と人間の嗜好のアライメントを改善するために重要である。 トレーニングベース手法は高い計算コストとデータセット要求によって制約されるが、トレーニングフリーアライメント手法は未探索のままであり、しばしば不正確なガイダンスによって制限される。 提案手法は,推論中に生成した画像と人間の嗜好を調整するための,プラグアンドプレイのトレーニング不要アライメント手法であるDyMOを提案する。 テキスト認識された人間の嗜好スコアとは別に,関心マップがノイズ画像のセマンティクスの効果的な反映であるという事実に頼って,拡散の初期におけるセマンティクスアライメントを強化するセマンティクスアライメントの目的を導入する。 本稿では、複数の目的の動的スケジューリングと、異なるステップでの要求を反映する中間繰り返しステップを提案する。 種々の事前学習拡散モデルとメトリクスを用いた実験は,提案手法の有効性とロバスト性を示す。

関連論文リスト

• Dataset Augmentation by Mixing Visual Concepts [3.5420134832331334]
  本稿では,事前学習した拡散モデルの微調整によるデータセット拡張手法を提案する。 我々は、拡散モデルに実際の画像と新しいテキスト埋め込みを条件付けすることで適応する。 提案手法は,ベンチマーク分類タスクにおける最先端の強化手法より優れている。
  論文  参考訳（メタデータ） (2024-12-19T19:42:22Z)
• MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
  本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。 離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。 MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T17:57:18Z)
• Training-free Diffusion Model Alignment with Sampling Demons [15.400553977713914]
  提案手法は,報酬関数やモデル再学習を介さずに,推論時の復調過程を導出するための最適化手法である。 提案手法は,高報酬に対応する領域の密度を最適化することにより,雑音分布の制御を行う。 我々の知る限り、提案手法は拡散モデルに対する最初の推論時間、バックプロパゲーションフリーな選好アライメント法である。
  論文  参考訳（メタデータ） (2024-10-08T07:33:49Z)
• TALE: Training-free Cross-domain Image Composition via Adaptive Latent Manipulation and Energy-guided Optimization [59.412236435627094]
  TALEは、テキストから画像への拡散モデルの生成機能を利用する、トレーニング不要のフレームワークである。 TALEにはAdaptive Latent ManipulationとEnergy-Guided Latent Optimizationという2つのメカニズムが備わっている。 本実験は,TALEが従来のベースラインを超え,画像誘導合成における最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-08-07T08:52:21Z)
• Efficient Text-driven Motion Generation via Latent Consistency Training [21.348658259929053]
  非線形逆拡散軌道を解くための動き潜時整合トレーニングフレームワーク(MLCT)を提案する。 これらの拡張を組み合わせることで、非画素モダリティおよび潜在表現空間における安定かつ一貫性のあるトレーニングを実現する。
  論文  参考訳（メタデータ） (2024-05-05T02:11:57Z)
• Enhancing Semantic Fidelity in Text-to-Image Synthesis: Attention Regulation in Diffusion Models [23.786473791344395]
  拡散モデルにおけるクロスアテンション層は、生成プロセス中に特定のトークンに不均等に集中する傾向がある。 本研究では,アテンションマップと入力テキストプロンプトを一致させるために,アテンション・レギュレーション(アテンション・レギュレーション)という,オン・ザ・フライの最適化手法を導入する。 実験結果から,本手法が他のベースラインより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-11T02:18:27Z)
• Semantic Guidance Tuning for Text-To-Image Diffusion Models [3.3881449308956726]
  本研究では,推論中の拡散モデルの誘導方向を変調する学習自由アプローチを提案する。 まず,素早い意味論を概念の集合に分解し,各概念に関するガイダンスの軌跡をモニタリングする。 そこで本研究では,モデルが発散する概念に対して,誘導方向を制御するための手法を考案した。
  論文  参考訳（メタデータ） (2023-12-26T09:02:17Z)
• RealignDiff: Boosting Text-to-Image Diffusion Model with Coarse-to-fine Semantic Re-alignment [112.45442468794658]
  本稿では,RealignDiffという2段階の粗大なセマンティックアライメント手法を提案する。 粗いセマンティックリアライメントフェーズにおいて、生成された画像キャプションと与えられたテキストプロンプトとのセマンティックな相違を評価するために、新しいキャプション報酬を提案する。 微妙なセマンティックリアライメントステージは、局所的な密集キャプション生成モジュールと再重み付けアテンション変調モジュールを用いて、局所的なセマンティックビューから生成された画像を洗練する。
  論文  参考訳（メタデータ） (2023-05-31T06:59:21Z)
• Training Diffusion Models with Reinforcement Learning [82.29328477109826]
  拡散モデルは、ログのような目的に近似して訓練される。 本稿では,下流目的のための拡散モデルを直接最適化するための強化学習手法について検討する。 本稿では,多段階決定問題としてデノベーションを行うことによって,ポリシー勾配アルゴリズムのクラスを実現する方法について述べる。
  論文  参考訳（メタデータ） (2023-05-22T17:57:41Z)
• An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
  カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。 正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T02:27:55Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。