論文の概要: Optimal and Diffusion Transports in Machine Learning

• arxiv url: http://arxiv.org/abs/2512.06797v1
• Date: Sun, 07 Dec 2025 11:25:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.534238
• Title: Optimal and Diffusion Transports in Machine Learning
• Title（参考訳）: 機械学習における最適・拡散輸送
• Authors: Gabriel Peyré,
• Abstract要約: 機械学習における問題は、時間進化確率分布の設計と解析として自然に表される。 本研究は,拡散法と最適輸送の2つの相補的アプローチの概要を示す。 我々は、サンプリング、ニューラルネットワーク最適化、大規模言語モデルのためのトランスフォーマーのダイナミクスのモデリングなど、両方のアプローチがアプリケーションにどのように現れるかを説明する。
• 参考スコア（独自算出の注目度）: 21.689846521201588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Several problems in machine learning are naturally expressed as the design and analysis of time-evolving probability distributions. This includes sampling via diffusion methods, optimizing the weights of neural networks, and analyzing the evolution of token distributions across layers of large language models. While the targeted applications differ (samples, weights, tokens), their mathematical descriptions share a common structure. A key idea is to switch from the Eulerian representation of densities to their Lagrangian counterpart through vector fields that advect particles. This dual view introduces challenges, notably the non-uniqueness of Lagrangian vector fields, but also opportunities to craft density evolutions and flows with favorable properties in terms of regularity, stability, and computational tractability. This survey presents an overview of these methods, with emphasis on two complementary approaches: diffusion methods, which rely on stochastic interpolation processes and underpin modern generative AI, and optimal transport, which defines interpolation by minimizing displacement cost. We illustrate how both approaches appear in applications ranging from sampling, neural network optimization, to modeling the dynamics of transformers for large language models.
• Abstract（参考訳）: 機械学習におけるいくつかの問題は、時間発展確率分布の設計と解析として自然に表される。 これには拡散法によるサンプリング、ニューラルネットワークの重み付けの最適化、大規模言語モデルの層間のトークン分布の進化の分析が含まれる。 対象のアプリケーションは異なる(サンプル、重み、トークン)が、それらの数学的記述は共通の構造を共有している。 鍵となる考え方は、密度のユーレアン表現から、そのラグランジアン表現へ、粒子を対流するベクトル場に切り替えることである。 この双対的な見方は、特にラグランジュベクトル場の非特異性や、正則性、安定性、計算的トラクタビリティの点で有利な性質を持つ密度の進化や流れを創り出す機会をもたらす。 本研究は, 確率的補間過程に依存し, 近代的生成AIの基盤となる拡散法と, 変位コストを最小化して補間を定義する最適輸送という2つの相補的アプローチに焦点をあてて, これらの手法の概要を述べる。 我々は、サンプリング、ニューラルネットワーク最適化、大規模言語モデルのためのトランスフォーマーのダイナミクスのモデリングなど、両方のアプローチがアプリケーションにどのように現れるかを説明する。

関連論文リスト

• Diffusion models for multivariate subsurface generation and efficient probabilistic inversion [0.0]
  拡散モデルは、深い生成モデリングタスクのための安定したトレーニングと最先端のパフォーマンスを提供する。 本稿では拡散モデルに固有のノイズ汚染を考慮した近似法を提案する。 統計的ロバスト性は有意に向上し, 後部確率密度関数のサンプリングが向上した。
  論文  参考訳（メタデータ） (2025-07-21T17:10:16Z)
• Generative AI Models for Learning Flow Maps of Stochastic Dynamical Systems in Bounded Domains [7.325529913721375]
  境界領域における微分方程式(SDE)のシミュレーションには、内部力学と境界相互作用の正確なモデリングが必要である。 既存の学習方法は、粒子出口のダイナミクスを正確に捉えることができないため、境界領域のSDEには適用できない。 本稿では,条件拡散モデルと出口予測ニューラルネットワークを組み合わせたハイブリッド型データ駆動方式を提案する。
  論文  参考訳（メタデータ） (2025-07-17T13:27:49Z)
• Evolvable Conditional Diffusion [22.614995975820094]
  ブラックボックス、非微分可能マルチフィジカルモデルは、生成過程を導くのに効果的に使用できる。 我々は、確率論的進化のレンズを通して、第一原理から進化誘導的なアプローチを導出する。 提案手法を2つのAI for Scienceシナリオで検証する。
  論文  参考訳（メタデータ） (2025-06-16T07:11:32Z)
• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Learning minimal representations of stochastic processes with variational autoencoders [52.99137594502433]
  プロセスを記述するのに必要なパラメータの最小セットを決定するために、教師なしの機械学習アプローチを導入する。 我々の手法はプロセスを記述する未知のパラメータの自律的な発見を可能にする。
  論文  参考訳（メタデータ） (2023-07-21T14:25:06Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。