論文の概要: An Analysis of Regularization and Fokker-Planck Residuals in Diffusion Models for Image Generation
- arxiv url: http://arxiv.org/abs/2604.15171v1
- Date: Thu, 16 Apr 2026 15:48:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-17 21:29:31.992108
- Title: An Analysis of Regularization and Fokker-Planck Residuals in Diffusion Models for Image Generation
- Title（参考訳）: 画像生成用拡散モデルにおける正規化とFokker-Planck残差の解析
- Authors: Onno Niemann, Gonzalo Martínez Muñoz, Alberto Suárez Gonzalez,
- Abstract要約: DSM(denoising score matching)の目的で訓練された拡散モデルは、しばしばFokker-Planck(FP)方程式に反する。
より単純な刑罰条件が同様の利益をもたらすかどうかを考察する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work has shown that diffusion models trained with the denoising score matching (DSM) objective often violate the Fokker--Planck (FP) equation that governs the evolution of the true data density. Directly penalizing these deviations in the objective function reduces their magnitude but introduces a significant computational overhead. It is also observed that enforcing strict adherence to the FP equation does not necessarily lead to improvements in the quality of the generated samples, as often the best results are obtained with weaker FP regularization. In this paper, we investigate whether simpler penalty terms can provide similar benefits. We empirically analyze several lightweight regularizers, study their effect on FP residuals and generation quality, and show that the benefits of FP regularization are available at substantially lower computational cost. Our code is available at https://github.com/OnnoNiemann/fp_diffusion_analysis.
- Abstract（参考訳）: 近年の研究では、DSM(denoising score matching)の目的によって訓練された拡散モデルが、真のデータ密度の進化を左右するFokker-Planck(FP)方程式にはしばしば違反することが示されている。
目的関数におけるこれらの偏差を直接罰することは、その大きさを減少させるが、かなりの計算オーバーヘッドをもたらす。
また、FP方程式への厳密な固着は、より弱いFP正則化で最良の結果が得られるため、生成したサンプルの品質向上につながるとは限らない。
本稿では,より単純なペナルティ用語が同様の利点をもたらすかどうかを考察する。
我々は、いくつかの軽量正則化器を実験的に分析し、FP残差と生成品質への影響について検討し、FP正則化の利点が大幅に低い計算コストで利用できることを示す。
私たちのコードはhttps://github.com/OnnoNiemann/fp_diffusion_analysisで利用可能です。
関連論文リスト
- InjectFlow: Weak Guides Strong via Orthogonal Injection for Flow Matching [1.974921946982281]
フローマッチング (FM) は高忠実度視覚生成の先駆的アプローチとして浮上している。
FMモデルはデータセットバイアスに敏感であり、アウト・オブ・ディストリビューションやマイノリティ・クラスのサンプルを生成する際に深刻な意味劣化を引き起こす。
InjectFlowは、初期速度場中に意味論を注入することで、新しいトレーニング不要な手法である。
論文 参考訳（メタデータ） (2026-03-19T11:07:14Z) - Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
制約を克服するオイラー法に対する全変分に基づく解析法を開発した。
その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。
全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
論文 参考訳（メタデータ） (2026-02-26T00:47:51Z) - Low-Dimensional Adaptation of Rectified Flow: A New Perspective through the Lens of Diffusion and Stochastic Localization [59.04314685837778]
整流流(RF)は、その生成効率と最先端の性能からかなりの人気を得ている。
本稿では,RFがターゲット分布の支持の内在的低次元性に自動的に適応し,サンプリングを高速化する程度について検討する。
時間分割方式を慎重に設計し,十分な正確なドリフト推定を行うことで,RFサンプリング器はオーダーO(k/varepsilon)$の複雑さを享受できることを示す。
論文 参考訳（メタデータ） (2026-01-21T22:09:27Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - Diffusion Sampling Path Tells More: An Efficient Plug-and-Play Strategy for Sample Filtering [18.543769006014383]
拡散モデルはしばしば、サンプリング軌跡に固有の変化のために、一貫性のないサンプル品質を示す。
CFG-リジェクション(CFG-Rejection)は,デノナイジングプロセスの初期段階において,低品質なサンプルをフィルタリングする効率的なプラグアンドプレイ戦略である。
画像生成におけるCFG-Rejectionの有効性を広範囲な実験により検証する。
論文 参考訳（メタデータ） (2025-05-29T11:08:24Z) - Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties [3.269165283595478]
IoT(Internet-of-Things)の分散センサーは、大量のスパースデータを生成する。
本稿では, 滑らか化機構をそのビューに統合し, 精度と計算速度を両立させる, 結合型滑らか化近位勾配(G)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-08-10T21:50:19Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T14:49:59Z) - FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the
Underlying Score Fokker-Planck Equation [72.19198763459448]
雑音が増大する傾向にあるデータ密度に対応する雑音条件スコア関数の族を学習する。
これらの摂動データ密度は、密度の時空間進化を管理する偏微分方程式(PDE)であるフォッカー・プランク方程式(Fokker-Planck equation, FPE)によって結合される。
我々は、摂動データ密度の雑音条件スコアを特徴付けるスコアFPEと呼ばれる対応する方程式を導出する。
論文 参考訳（メタデータ） (2022-10-09T16:27:25Z) - Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。
トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。
1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
論文 参考訳（メタデータ） (2022-05-27T11:13:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。