論文の概要: Faster Training of Diffusion Models and Improved Density Estimation via Parallel Score Matching

• arxiv url: http://arxiv.org/abs/2306.02658v1
• Date: Mon, 5 Jun 2023 07:47:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 16:18:34.705724
• Title: Faster Training of Diffusion Models and Improved Density Estimation via Parallel Score Matching
• Title（参考訳）: 並列スコアマッチングによる拡散モデルの高速学習と密度推定の改善
• Authors: Etrit Haxholli, Marco Lorenzi
• Abstract要約: 個別のネットワークを利用して学習課題を分割し,特定の時間間隔内でスコアの進化を学習する。 我々は,各時点のスコアを独立にモデル化するために,個別のネットワークを利用することで,この戦略を論理的結論まで拡張する。
• 参考スコア（独自算出の注目度）: 5.33024001730262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Diffusion Probabilistic Models (DPMs), the task of modeling the score evolution via a single time-dependent neural network necessitates extended training periods and may potentially impede modeling flexibility and capacity. To counteract these challenges, we propose leveraging the independence of learning tasks at different time points inherent to DPMs. More specifically, we partition the learning task by utilizing independent networks, each dedicated to learning the evolution of scores within a specific time sub-interval. Further, inspired by residual flows, we extend this strategy to its logical conclusion by employing separate networks to independently model the score at each individual time point. As empirically demonstrated on synthetic and image datasets, our approach not only significantly accelerates the training process by introducing an additional layer of parallelization atop data parallelization, but it also enhances density estimation performance when compared to the conventional training methodology for DPMs.
• Abstract（参考訳）: Diffusion Probabilistic Models (DPM)では、単一の時間依存ニューラルネットワークを介してスコアの進化をモデル化するタスクは、トレーニング期間を延長し、モデリングの柔軟性とキャパシティを阻害する可能性がある。 これらの課題に対処するために、DPM固有の異なる時点における学習課題の独立性を活用することを提案する。 より具体的には、独立ネットワークを利用して学習課題を分割し、それぞれ特定の時間サブインターバル内でスコアの進化を学習する。 さらに, 残差流に触発されて, この戦略を論理的な結論へと拡張し, 各時点のスコアを独立にモデル化するネットワークを用いた。 合成データと画像データセットで実証されたように,本手法は,データ並列化上に追加の並列化層を導入することで,トレーニングプロセスを著しく高速化するだけでなく,従来のdpmのトレーニング手法と比較して密度推定性能を向上させる。

関連論文リスト

• Mixture of Efficient Diffusion Experts Through Automatic Interval and Sub-Network Selection [63.96018203905272]
  本稿では, 事前学習した拡散モデルを用いて, 効率の良い専門家の混入を図り, サンプリングコストを削減することを提案する。 提案手法であるDiffPruningの有効性を,複数のデータセットで示す。
  論文  参考訳（メタデータ） (2024-09-23T21:27:26Z)
• A Score-Based Density Formula, with Applications in Diffusion Generative Models [6.76974373198208]
  スコアベース生成モデル(SGM)は、生成モデリングの分野に革命をもたらし、現実的で多様なコンテンツを生成するのに前例のない成功を収めた。 実験的な進歩にもかかわらず、ログライクリッド上でのエビデンスローバウンド(ELBO)の最適化がDDPMなどの拡散生成モデルの訓練に有効である理由に関する理論的根拠はほとんど未解明のままである。
  論文  参考訳（メタデータ） (2024-08-29T17:59:07Z)
• Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [95.49699178874683]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Estimating Post-Synaptic Effects for Online Training of Feed-Forward SNNs [0.27016900604393124]
  スパイクニューラルネットワーク(SNN)におけるオンライン学習の実現は、イベントベースのモデルを開発する上で重要なステップである。 本稿では, フィードフォワードSNNのトレーニングのためのOTPE(Online Training with Postsynaptic Estimates)を提案する。 本研究では, 時間的効果の新たな近似法を用いて, マルチ層ネットワークのスケーリング改善を示す。
  論文  参考訳（メタデータ） (2023-11-07T16:53:39Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Message Propagation Through Time: An Algorithm for Sequence Dependency Retention in Time Series Modeling [14.49997340857179]
  本稿では,時系列モデリングのためのMPTT(Message Propagation Through Time)アルゴリズムを提案する。 MPTTは、ステートフルなソリューションと比較して、より高速なトレーニング時間を保ちながら、長時間の時間的依存を取り入れている。 実験の結果,MPTTは4つの気候データセットにおいて7つの戦略より優れていた。
  論文  参考訳（メタデータ） (2023-09-28T22:38:18Z)
• Spatio-temporal Diffusion Point Processes [23.74522530140201]
  パティオ・テンポラル・ポイント・プロセス(英: patio-temporal point process、STPP)は、時間と空間を伴うイベントの集合である。 結合分布のモデル化に失敗すると、与えられた事象の過去の時間的相互作用を特徴づける能力は限られる。 複雑な時空間の関節分布を学習する新しいパラメータ化フレームワークを提案する。 我々のフレームワークは最先端のベースラインを著しく上回り、平均50%以上の改善がなされています。
  論文  参考訳（メタデータ） (2023-05-21T08:53:00Z)
• Improving GANs with A Dynamic Discriminator [106.54552336711997]
  我々は、オンザフライで調整可能な判別器は、そのような時間変化に適応できると論じる。 総合的な実証研究により、提案したトレーニング戦略がDynamicDと呼ばれ、追加のコストやトレーニング目標を発生させることなく、合成性能を向上させることが確認された。
  論文  参考訳（メタデータ） (2022-09-20T17:57:33Z)
• Deep diffusion-based forecasting of COVID-19 by incorporating network-level mobility information [22.60685417365995]
  我々は、自己回帰混合密度拡散動的ネットワーク(ARM3Dnet)と呼ばれる確率予測のためのディープラーニングに基づく時系列モデルを開発した。 アメリカ合衆国におけるCovid-19の死亡数やケースの予測において,我々のモデルは従来の統計モデルとディープラーニングモデルの両方を上回っていることを示す。
  論文  参考訳（メタデータ） (2021-11-09T15:18:03Z)
• Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
  状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。 状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。 時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
  論文  参考訳（メタデータ） (2021-10-26T17:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。