Fugu-MT 論文翻訳(概要): Fine-tuning of diffusion models via stochastic control: entropy regularization and beyond

論文の概要: Fine-tuning of diffusion models via stochastic control: entropy regularization and beyond

arxiv url: http://arxiv.org/abs/2403.06279v2
Date: Tue, 12 Mar 2024 16:54:34 GMT
ステータス: 処理完了
システム内更新日: 2024-03-13 11:20:10.280617
Title: Fine-tuning of diffusion models via stochastic control: entropy regularization and beyond
Title（参考訳）: 確率制御による拡散モデルの微調整:エントロピー正則化以降
Authors: Wenpin Tang
Abstract要約: 本稿では,連続時間拡散モデルにおけるエントロピー正規化微調整問題に対する厳密な対処法を開発し,提供することを目的とする。一般の$f$-divergence regularizerを含む微調整まで解析をどのように拡張できるかを示す。
参考スコア（独自算出の注目度）: 6.164223149261533
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper aims to develop and provide a rigorous treatment to the problem of entropy regularized fine-tuning in the context of continuous-time diffusion models, which was recently proposed by Uehara et al. (arXiv:2402.15194, 2024). The idea is to use stochastic control for sample generation, where the entropy regularizer is introduced to mitigate reward collapse. We also show how the analysis can be extended to fine-tuning involving a general $f$-divergence regularizer.
Abstract（参考訳）: 本稿では, 上原らにより最近提案された連続時間拡散モデル(arXiv:2402.15194, 2024)を用いて, エントロピー規則化微調整問題に対する厳密な対処法を開発し, 提供することを目的とする。このアイデアは、エントロピー正則化器を導入して報酬崩壊を緩和するサンプル生成に確率制御を使用することである。また、一般的な$f$-divergence正規化子を含む微調整まで分析を拡張できることを示す。

関連論文リスト

Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
論文参考訳（メタデータ） (2024-08-25T10:28:31Z)
On the generic increase of observational entropy in isolated systems [6.874745415692133]
ランダムに選択されたユニタリ進化のシステムの観測エントロピーが、圧倒的な確率で増加する傾向を示す。システムの初期状態に関わらず,システムの大きさが十分に粗い観察では,その状態がマイクロカノニカル分布と実質的に区別できないことを示す。
論文参考訳（メタデータ） (2024-04-18T08:27:04Z)
Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-11T15:20:54Z)
Apparent pathologies in stochastic entropy production in the thermalisation of an open two-level quantum system [0.0]
開封された2レベル量子系の熱的統計状態への緩和によるエントロピー効果について検討する。一般的な状態から始まる熱化には, エントロピー生産の環境成分の変化の持続的非ゼロ平均値が伴うことを示した。
論文参考訳（メタデータ） (2023-03-07T11:34:46Z)
Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic Analysis For DDIM-Type Samplers [90.45898746733397]
本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
論文参考訳（メタデータ） (2023-03-06T18:59:19Z)
Choquet regularization for reinforcement learning [1.2031796234206138]
強化学習のための探索レベルを計測・管理するためのチェケットレギュレータを提案する。ハミルトン-ヤコビ-ベルマン方程式を導出し、線形四元数 (LQ) の場合を明確に解く。
論文参考訳（メタデータ） (2022-08-17T19:32:24Z)
Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。電力グリッドからの負荷データを用いたテストケースの結果が提示される。
論文参考訳（メタデータ） (2020-10-08T20:25:52Z)
GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
論文参考訳（メタデータ） (2020-09-24T19:34:37Z)
Variance Regularization for Accelerating Stochastic Optimization [14.545770519120898]
ミニバッチ勾配に隠れた統計情報を利用してランダムな誤りの蓄積を低減する普遍原理を提案する。これは、ミニバッチのばらつきに応じて学習率を正規化することで達成される。
論文参考訳（メタデータ） (2020-08-13T15:34:01Z)
Generalized Entropy Regularization or: There's Nothing Special about Label Smoothing [83.78668073898001]
本稿では, ラベル平滑化を含むエントロピー正則化器群を紹介する。モデル性能のばらつきはモデルのエントロピーによって大きく説明できる。我々は,他のエントロピー正規化手法の使用を推奨する。
論文参考訳（メタデータ） (2020-05-02T12:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。