論文の概要: Zeroth-order Informed Fine-Tuning for Diffusion Model: A Recursive Likelihood Ratio Optimizer

• arxiv url: http://arxiv.org/abs/2502.00639v1
• Date: Sun, 02 Feb 2025 03:00:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:06:29.365168
• Title: Zeroth-order Informed Fine-Tuning for Diffusion Model: A Recursive Likelihood Ratio Optimizer
• Title（参考訳）: 拡散モデルのためのゼロ階インフォームインフォームドファインタニング:再帰的同値比最適化器
• Authors: Tao Ren, Zishi Zhang, Zehao Li, Jingyang Jiang, Shentao Qin, Guanghao Li, Yan Li, Yi Zheng, Xinping Li, Min Zhan, Yijie Peng,
• Abstract要約: 確率拡散モデル(DM)は視覚生成のための強力なフレームワークである。 DMを効率的に調整する方法は重要な課題である。 本稿では,DMのための第0次情報調整パラダイムであるRecursive Likelihood Ratio (RLR)を提案する。
• 参考スコア（独自算出の注目度）: 9.153197757307762
• License:
• Abstract: The probabilistic diffusion model (DM), generating content by inferencing through a recursive chain structure, has emerged as a powerful framework for visual generation. After pre-training on enormous unlabeled data, the model needs to be properly aligned to meet requirements for downstream applications. How to efficiently align the foundation DM is a crucial task. Contemporary methods are either based on Reinforcement Learning (RL) or truncated Backpropagation (BP). However, RL and truncated BP suffer from low sample efficiency and biased gradient estimation respectively, resulting in limited improvement or, even worse, complete training failure. To overcome the challenges, we propose the Recursive Likelihood Ratio (RLR) optimizer, a zeroth-order informed fine-tuning paradigm for DM. The zeroth-order gradient estimator enables the computation graph rearrangement within the recursive diffusive chain, making the RLR's gradient estimator an unbiased one with the lower variance than other methods. We provide theoretical guarantees for the performance of the RLR. Extensive experiments are conducted on image and video generation tasks to validate the superiority of the RLR. Furthermore, we propose a novel prompt technique that is natural for the RLR to achieve a synergistic effect.
• Abstract（参考訳）: 確率的拡散モデル(DM)は、再帰的連鎖構造を通して参照することでコンテンツを生成するものであり、視覚生成のための強力なフレームワークとして現れている。 巨大なラベルのないデータを事前トレーニングした後は、ダウンストリームアプリケーションの要件を満たすために、モデルを適切に整列する必要がある。 DMを効率的に調整する方法は重要な課題である。 現代の手法は強化学習(Reinforcement Learning, RL)または切り捨てバックプロパゲーション(Truncated Backpropagation, BP)に基づいている。 しかし, RL と truncated BP はそれぞれ低い試料効率と偏差勾配推定に悩まされ, 改善が限定されたり, さらに悪いことに, 完全な訓練失敗が生じた。 この課題を克服するために、DMのためのゼロオーダー情報調整パラダイムであるRecursive Likelihood Ratio(RLR)オプティマイザを提案する。 ゼロ階勾配推定器は、再帰的拡散鎖内の計算グラフ再構成を可能にし、RLRの勾配推定器を他の方法よりも低分散の偏りのない非バイアスのものとする。 RLRの性能に関する理論的保証を提供する。 RLRの優位性を検証するため、画像および映像生成タスクにおいて大規模な実験を行った。 さらに,RLRが相乗効果を得るのに自然な新しいプロンプト手法を提案する。

関連論文リスト

• Likelihood-Ratio Regularized Quantile Regression: Adapting Conformal Prediction to High-Dimensional Covariate Shifts [35.16750653336608]
  ピンボール損失を正規化の新たな選択と組み合わせた正準比正則化量子回帰アルゴリズムを提案する。 LR-QR法は,対象領域の所望レベルにおいて,最小限の誤差項までカバレッジを有することを示す。 実験により、LR-QRアルゴリズムは、高次元予測タスクにおいて既存の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2025-02-18T16:46:44Z)
• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)
• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Estimating the Hessian Matrix of Ranking Objectives for Stochastic Learning to Rank with Gradient Boosted Trees [63.18324983384337]
  グラディエントブースト決定木(GBDT)のランク付け手法について紹介する。 我々の主な貢献は、二階微分、すなわちヘッセン行列に対する新しい推定器である。 推定器を既存のPL-Rankフレームワークに組み込む。
  論文  参考訳（メタデータ） (2024-04-18T13:53:32Z)
• CoRMF: Criticality-Ordered Recurrent Mean Field Ising Solver [4.364088891019632]
  我々は、RNNに基づく効率的なIsingモデル解法、Criticality-ordered Recurrent Mean Field (CoRMF)を提案する。 基礎となるIsingグラフの近似木構造を利用することで、新しく得られた臨界度順序は、変動平均場とRNNの統一を可能にする。 CoRFMはデータ/証拠のない自己学習方式でIsing問題を解き、RNNから直接サンプリングすることで推論タスクを実行することができる。
  論文  参考訳（メタデータ） (2024-03-05T16:55:06Z)
• PRDP: Proximal Reward Difference Prediction for Large-Scale Reward Finetuning of Diffusion Models [13.313186665410486]
  リワード微調整は、ファンデーションモデルを下流の目標と整合させるための有望なアプローチとして現れています。 既存の報酬微調整手法は、大規模なプロンプトデータセットにおける不安定性によって制限される。 拡散モデルに対する安定なブラックボックス報酬の微調整を可能にするためのPRDP(Proximal Reward difference Prediction)を提案する。
  論文  参考訳（メタデータ） (2024-02-13T18:58:16Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。