論文の概要: Entropic Time Schedulers for Generative Diffusion Models

• arxiv url: http://arxiv.org/abs/2504.13612v1
• Date: Fri, 18 Apr 2025 10:35:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 16:09:03.536323
• Title: Entropic Time Schedulers for Generative Diffusion Models
• Title（参考訳）: 生成拡散モデルのためのエントロピー時間スケジューリング
• Authors: Dejan Stancevic, Luca Ambrogioni,
• Abstract要約: 本稿では,一様時間間隔ではなく,エントロピーに基づくサンプリングポイントを選択する時間スケジューラを提案する。 本研究では、(再スケール)エントロピー時間を用いることで、トレーニングされたモデルの推論性能が大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 5.44478242486351
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The practical performance of generative diffusion models depends on the appropriate choice of the noise scheduling function, which can also be equivalently expressed as a time reparameterization. In this paper, we present a time scheduler that selects sampling points based on entropy rather than uniform time spacing, ensuring that each point contributes an equal amount of information to the final generation. We prove that this time reparameterization does not depend on the initial choice of time. Furthermore, we provide a tractable exact formula to estimate this \emph{entropic time} for a trained model using the training loss without substantial overhead. Alongside the entropic time, inspired by the optimality results, we introduce a rescaled entropic time. In our experiments with mixtures of Gaussian distributions and ImageNet, we show that using the (rescaled) entropic times greatly improves the inference performance of trained models. In particular, we found that the image quality in pretrained EDM2 models, as evaluated by FID and FD-DINO scores, can be substantially increased by the rescaled entropic time reparameterization without increasing the number of function evaluations, with greater improvements in the few NFEs regime.
• Abstract（参考訳）: 生成拡散モデルの実用性能は、時間再パラメータ化と等価に表現できるノイズスケジューリング関数の適切な選択に依存する。 本稿では,一様時間間隔ではなく,エントロピーに基づくサンプリングポイントを選択する時間スケジューラを提案する。 この時間再パラメータ化は、最初の選択時間に依存しないことを示す。 さらに, トレーニング損失を用いたトレーニングモデルに対して, かなりのオーバーヘッドを伴わずに, この「エントロピー時間」を推定するために, トラクタブルな正確な式を提供する。 最適性から着想を得たエントロピー時間とともに、再スケールされたエントロピー時間を導入する。 ガウス分布とイメージネットの混合実験において、(再スケール)エントロピー時間を用いることで、トレーニングされたモデルの推論性能が大幅に向上することを示した。 特に,FIDおよびFD-DINOスコアによって評価された事前学習EDM2モデルの画質は,機能評価の数を増やすことなく,再スケールしたエントロピー時間再パラメータ化により著しく向上し,少数のNFE体制では改善が見られた。

関連論文リスト

• MATEY: multiscale adaptive foundation models for spatiotemporal physical systems [2.7767126393602726]
  局所的な特徴に基づくパッチサイズを動的に調整する2つの適応トークン化方式を提案する。 提案するマルチスケール適応モデルであるMATEYの性能を実験で評価する。 また、PDEデータに基づいて事前学習した物理を特徴とする微調整タスクについても紹介する。
  論文  参考訳（メタデータ） (2024-12-29T22:13:16Z)
• Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
  Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。 絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-10-28T15:54:50Z)
• Tuning Timestep-Distilled Diffusion Model Using Pairwise Sample Optimization [97.35427957922714]
  任意の時間ステップ蒸留拡散モデルを直接微調整できるPSOアルゴリズムを提案する。 PSOは、現在の時間ステップ蒸留モデルからサンプリングされた追加の参照画像を導入し、トレーニング画像と参照画像との相対的な近縁率を増大させる。 PSOは、オフラインとオンラインのペアワイズ画像データの両方を用いて、蒸留モデルを直接人間の好ましくない世代に適応させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-04T07:05:16Z)
• Score-based Generative Models with Adaptive Momentum [40.84399531998246]
  変換過程を高速化する適応運動量サンプリング法を提案する。 提案手法は,2倍から5倍の速度で,より忠実な画像/グラフを小さなサンプリングステップで作成できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T15:20:27Z)
• Real-time Inference and Extrapolation via a Diffusion-inspired Temporal Transformer Operator (DiTTO) [1.5728609542259502]
  本稿では,時間依存偏微分方程式(PDE)を時間的離散化を伴わずに時間外挿で連続的に解く演算子学習法を提案する。 Diffusion-inspired Temporal Transformer Operator (DiTTO) と呼ばれる提案手法は,遅延拡散モデルとその条件付け機構に着想を得たものである。 我々は,地球上の温度を数年間推定し,気候問題に対する外挿能力を示すとともに,二重円錐周りの超音速流れをモデル化する。
  論文  参考訳（メタデータ） (2023-07-18T08:45:54Z)
• Gated Recurrent Neural Networks with Weighted Time-Delay Feedback [59.125047512495456]
  重み付き時間遅延フィードバック機構を備えた新しいゲートリカレントユニット(GRU)を導入する。 我々は、$tau$-GRUが、最先端のリカレントユニットやゲート型リカレントアーキテクチャよりも早く収束し、より一般化できることを示します。
  論文  参考訳（メタデータ） (2022-12-01T02:26:34Z)
• Leveraging Image-based Generative Adversarial Networks for Time Series Generation [4.541582055558865]
  XIRP(Extended Intertemporal Return Plot)という時系列の2次元画像表現を提案する。 提案手法は, 時間間時系列のダイナミクスをスケール不変かつ可逆的に捉え, トレーニング時間を短縮し, サンプル品質を向上させる。
  論文  参考訳（メタデータ） (2021-12-15T11:55:11Z)
• Moment evolution equations and moment matching for stochastic image EPDiff [68.97335984455059]
  画像変形モデルにより、画像領域を変形させることにより、時間連続的な画像変換の研究が可能になる。 応用例としては、人口傾向とランダムな被写体特定変異の両方を用いた医療画像分析がある。 パラメータフルモデルにおける統計的推測のための推定器を構築するために、対応する伊藤拡散のモーメント近似を用いる。
  論文  参考訳（メタデータ） (2021-10-07T11:08:11Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• The temporal overfitting problem with applications in wind power curve modeling [8.057262184815636]
  本稿では,時間的過適合問題に対処する新しい手法を提案する。 本稿では,風力エネルギーのパワー曲線モデリングを対象とする。
  論文  参考訳（メタデータ） (2020-12-02T17:39:57Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)
• Efficient Variational Bayesian Structure Learning of Dynamic Graphical Models [19.591265962713837]
  時間変化のグラフィカルモデルの推定は、様々な社会的、経済的、生物学的、工学的システムにおいて最重要となる。 既存の手法では、グラフの間隔と時間的滑らかさを制御するパラメータを広範囲にチューニングする必要がある。 我々はBADGEという低複素性チューニング自由ベイズアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-16T14:19:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。