論文の概要: Reward Incremental Learning in Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2411.17310v1
• Date: Tue, 26 Nov 2024 10:54:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:36:33.858446
• Title: Reward Incremental Learning in Text-to-Image Generation
• Title（参考訳）: テキスト・画像生成における逆増分学習
• Authors: Maorong Wang, Jiafeng Mao, Xueting Wang, Toshihiko Yamasaki,
• Abstract要約: 本稿では,計算オーバーヘッドを最小限に抑える方法であるReward Incremental Distillation(RID)を提案する。 実験結果から,RILシナリオにおける一貫した高次勾配生成の実現におけるRIDの有効性が示された。
• 参考スコア（独自算出の注目度）: 26.64026346266299
• License:
• Abstract: The recent success of denoising diffusion models has significantly advanced text-to-image generation. While these large-scale pretrained models show excellent performance in general image synthesis, downstream objectives often require fine-tuning to meet specific criteria such as aesthetics or human preference. Reward gradient-based strategies are promising in this context, yet existing methods are limited to single-reward tasks, restricting their applicability in real-world scenarios that demand adapting to multiple objectives introduced incrementally over time. In this paper, we first define this more realistic and unexplored problem, termed Reward Incremental Learning (RIL), where models are desired to adapt to multiple downstream objectives incrementally. Additionally, while the models adapt to the ever-emerging new objectives, we observe a unique form of catastrophic forgetting in diffusion model fine-tuning, affecting both metric-wise and visual structure-wise image quality. To address this catastrophic forgetting challenge, we propose Reward Incremental Distillation (RID), a method that mitigates forgetting with minimal computational overhead, enabling stable performance across sequential reward tasks. The experimental results demonstrate the efficacy of RID in achieving consistent, high-quality generation in RIL scenarios. The source code of our work will be publicly available upon acceptance.
• Abstract（参考訳）: 近年の拡散モデルの普及により、テキスト・画像生成が大幅に進歩した。 これらの大規模事前学習モデルは、一般的な画像合成において優れた性能を示すが、下流の目的はしばしば美学や人間の嗜好といった特定の基準を満たすために微調整を必要とする。 逆勾配に基づく戦略はこの文脈で有望であるが、既存の手法は単一逆のタスクに限られており、時間とともに徐々に導入された複数の目標に適応するよう要求する現実のシナリオで適用性を制限する。 本稿では、まず、より現実的で未探索な問題であるReward Incremental Learning (RIL)を定義し、モデルが複数の下流目標に漸進的に適応することが望まれる。 さらに, モデルが新たな目的に適応する一方で, 拡散モデル微調整における破滅的忘れのユニークな形態を観察し, 計量的および視覚的構造的画像品質に影響を及ぼす。 この破滅的な忘れ込み問題に対処するために、逐次的な報酬タスク間で安定したパフォーマンスを実現するために、最小の計算オーバーヘッドで忘れを緩和するReward Incremental Distillation (RID)を提案する。 実験により, RILシナリオにおける一貫した高品質な生成を実現する上で, RIDの有効性が示された。 私たちの作業のソースコードは受理後に公開されます。

関連論文リスト

• Rejection Sampling IMLE: Designing Priors for Better Few-Shot Image Synthesis [7.234618871984921]
  新たな研究分野は、限られたトレーニングデータで深層生成モデルを学ぶことを目的としている。 トレーニングに使用する事前分布を変更する新しいアプローチであるRS-IMLEを提案する。 これにより、既存のGANやIMLEベースの手法に比べて画質が大幅に向上する。
  論文  参考訳（メタデータ） (2024-09-26T00:19:42Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
  連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。 本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-11T04:59:44Z)
• JoReS-Diff: Joint Retinex and Semantic Priors in Diffusion Model for Low-light Image Enhancement [69.6035373784027]
  低照度画像強調(LLIE)は条件付き拡散モデルを用いて有望な性能を実現している。 従来手法は、タスク固有の条件戦略の十分な定式化の重要性を無視するものであった。 本稿では,Retinex および semantic-based pre-processing condition を付加した新しいアプローチである JoReS-Diff を提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:05:57Z)
• CoDi: Conditional Diffusion Distillation for Higher-Fidelity and Faster Image Generation [49.3016007471979]
  大規模な生成拡散モデルは、テキスト・ツー・イメージ生成に革命をもたらし、条件付き生成タスクに大きな可能性を秘めている。 しかし、彼らの普及は高い計算コストによって妨げられ、リアルタイムの応用が制限される。 本稿では,事前学習した潜伏拡散モデルに付加的な画像条件入力を適応させるCoDiという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T17:59:18Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• Conditional Generation from Unconditional Diffusion Models using Denoiser Representations [94.04631421741986]
  本稿では,学習したデノイザネットワークの内部表現を用いて,事前学習した非条件拡散モデルを新しい条件に適用することを提案する。 提案手法により生成した合成画像を用いたTiny ImageNetトレーニングセットの強化により,ResNetベースラインの分類精度が最大8%向上することを示す。
  論文  参考訳（メタデータ） (2023-06-02T20:09:57Z)
• Single Image Internal Distribution Measurement Using Non-Local Variational Autoencoder [11.985083962982909]
  本稿では,非局所変分オートエンコーダ(textttNLVAE)という画像固有解を提案する。 textttNLVAEは,非局所領域からの非絡み合った情報を用いて高解像度画像を再構成する自己教師型戦略として導入された。 7つのベンチマークデータセットによる実験結果から,textttNLVAEモデルの有効性が示された。
  論文  参考訳（メタデータ） (2022-04-02T18:43:55Z)
• A Generic Approach for Enhancing GANs by Regularized Latent Optimization [79.00740660219256]
  本稿では,事前学習したGANを効果的かつシームレスに拡張できる,エミュレーティブモデル推論と呼ばれる汎用フレームワークを提案する。 我々の基本的な考え方は、ワッサーシュタイン勾配流法を用いて与えられた要求に対する最適潜時分布を効率的に推算することである。
  論文  参考訳（メタデータ） (2021-12-07T05:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。