論文の概要: Learning diffusion at lightspeed

• arxiv url: http://arxiv.org/abs/2406.12616v2
• Date: Fri, 18 Oct 2024 16:09:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:22:16.312989
• Title: Learning diffusion at lightspeed
• Title（参考訳）: 光速での学習拡散
• Authors: Antonio Terpin, Nicolas Lanzetti, Martin Gadea, Florian Dörfler,
• Abstract要約: 観測データから拡散項を学習する既存のモデルは、複雑な二段階最適化問題に依存する。 既存のアーキテクチャの複雑さを回避できる新しいシンプルなモデル JKOnet* を提案する。 JKOnet*は単純な二次的損失を最小限に抑え、サンプル効率、計算複雑性、精度で他のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 4.154846138501937
• License:
• Abstract: Diffusion regulates numerous natural processes and the dynamics of many successful generative models. Existing models to learn the diffusion terms from observational data rely on complex bilevel optimization problems and model only the drift of the system. We propose a new simple model, JKOnet*, which bypasses the complexity of existing architectures while presenting significantly enhanced representational capabilities: JKOnet* recovers the potential, interaction, and internal energy components of the underlying diffusion process. JKOnet* minimizes a simple quadratic loss and outperforms other baselines in terms of sample efficiency, computational complexity, and accuracy. Additionally, JKOnet* provides a closed-form optimal solution for linearly parametrized functionals, and, when applied to predict the evolution of cellular processes from real-world data, it achieves state-of-the-art accuracy at a fraction of the computational cost of all existing methods. Our methodology is based on the interpretation of diffusion processes as energy-minimizing trajectories in the probability space via the so-called JKO scheme, which we study via its first-order optimality conditions.
• Abstract（参考訳）: 拡散は多くの自然過程と多くの成功した生成モデルの力学を規制する。 観測データから拡散項を学習する既存のモデルは、複雑な二段階最適化問題に依存し、システムのドリフトのみをモデル化する。 我々は,既存のアーキテクチャの複雑さを回避し,表現能力を大幅に強化した新しいシンプルなモデル JKOnet* を提案する。 JKOnet*は単純な二次的損失を最小限に抑え、サンプル効率、計算複雑性、精度で他のベースラインを上回っている。 さらに、JKOnet*は線形パラメータ化関数に対する閉形式最適解を提供し、実世界のデータから細胞プロセスの進化を予測するために適用されると、既存のすべての計算コストのごく一部で最先端の精度を達成する。 本手法は, 拡散過程のエネルギー最小化軌跡として, JKOスキームによる拡散過程の解釈に基づいており, 第一次最適性条件を用いて検討する。

関連論文リスト

• DiffSG: A Generative Solver for Network Optimization with Diffusion Model [75.27274046562806]
  拡散生成モデルはより広い範囲の解を考えることができ、学習パラメータによるより強力な一般化を示す。 拡散生成モデルの本質的な分布学習を利用して高品質な解を学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T07:56:21Z)
• Data-Driven Stochastic Closure Modeling via Conditional Diffusion Model and Neural Operator [0.0]
  クロージャモデルは、乱流や地球系のような複雑なマルチスケール力学系をシミュレートするのに広く用いられている。 明確なスケールを持たないシステムでは、一般化決定論的および局所閉包モデルは十分な能力に欠けることが多い。 ニューラル演算子と非局所クロージャモデルを構築するためのデータ駆動モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T05:21:31Z)
• Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
  このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。 PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
  論文  参考訳（メタデータ） (2024-07-18T17:35:32Z)
• Momentum Particle Maximum Likelihood [2.4561590439700076]
  自由エネルギー関数を最小化するための類似の力学系に基づくアプローチを提案する。 システムを離散化することにより、潜在変数モデルにおける最大推定のための実用的なアルゴリズムを得る。 このアルゴリズムは既存の粒子法を数値実験で上回り、他のMLEアルゴリズムと比較する。
  論文  参考訳（メタデータ） (2023-12-12T14:53:18Z)
• Learning Latent Dynamics via Invariant Decomposition and (Spatio-)Temporal Transformers [0.6767885381740952]
  本研究では,高次元経験データから力学系を学習する手法を提案する。 我々は、システムの複数の異なるインスタンスからデータが利用できる設定に焦点を当てる。 我々は、単純な理論的分析と、合成および実世界のデータセットに関する広範な実験を通して行動を研究する。
  論文  参考訳（メタデータ） (2023-06-21T07:52:07Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Generalised Latent Assimilation in Heterogeneous Reduced Spaces with Machine Learning Surrogate Models [10.410970649045943]
  我々は,低次サロゲートモデルと新しいデータ同化手法を組み合わせたシステムを開発した。 一般化された潜在同化は、低次モデリングによって提供される効率とデータ同化の精度の両方の恩恵を受けることができる。
  論文  参考訳（メタデータ） (2022-04-07T15:13:12Z)
• Extension of Dynamic Mode Decomposition for dynamic systems with incomplete information based on t-model of optimal prediction [69.81996031777717]
  動的モード分解は、動的データを研究するための非常に効率的な手法であることが証明された。 このアプローチの適用は、利用可能なデータが不完全である場合に問題となる。 本稿では,森-Zwanzig分解の1次近似を考察し,対応する最適化問題を記述し,勾配に基づく最適化法を用いて解く。
  論文  参考訳（メタデータ） (2022-02-23T11:23:59Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。