Fugu-MT 論文翻訳(概要): Particle-based Generalised Stochastic Optimisation

論文の概要: Particle-based Generalised Stochastic Optimisation

arxiv url: http://arxiv.org/abs/2608.02844v1
Date: Mon, 03 Aug 2026 19:59:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-05 15:30:22.940024
Title: Particle-based Generalised Stochastic Optimisation
Title（参考訳）: 粒子に基づく一般化確率最適化
Abstract要約: そこで我々は,難解勾配を有する損失関数に対する拡散型粒子最適化法の開発を行った。本稿では,いくつかの既存アルゴリズムを特殊なケースとして含む平均場力学とその相互作用粒子近似を紹介する。連続時間粒子系は非漸近誤差を持つことを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We develop a class of diffusion-based stochastic particle optimisation methods for loss functions with intractable gradients. Specifically, we consider problems in which the loss gradient is an integral with respect to a parameter-dependent distribution, a structure that includes training generative models, fine-tuning, and learning latent-variable models. We introduce mean-field dynamics and its interacting-particle approximations, which contain several existing algorithms as special cases and provides a route to constructing new methods. Under well-posedness and joint contractivity assumptions, we prove exponential convergence and show that the continuous-time particle system admits a non-asymptotic error bound. We illustrate it by developing momentum and higher-order Langevin variants and evaluating them on maximum marginal-likelihood estimation and energy-based-model training.
Abstract（参考訳）: そこで我々は,難解勾配を有する損失関数に対する拡散型確率的粒子最適化法の開発を行った。具体的には、損失勾配がパラメータ依存分布に関する積分的な問題、学習生成モデル、微調整、潜在変数モデルの学習を含む構造について考察する。本稿では,いくつかの既存アルゴリズムを特別なケースとして含む平均場力学とその相互作用粒子近似を導入し,新しい手法を構築するためのルートを提供する。厳密性および合同縮合性仮定の下では指数収束を証明し、連続時間粒子系が非漸近誤差境界を持つことを示す。運動量と高次ランゲヴィン変種を発達させ、それらを最大辺縁類似度推定とエネルギーベースモデルトレーニングで評価することによってこれを説明できる。

関連論文リスト

Learning Perturbations to Extrapolate Your LLM [12.34345212532974]
埋め込み空間内の連続潜伏ベクトルの学習可能な変換によってトークンプレフィックスが摂動するフレームワークを提案する。難解な限界確率の挑戦を克服するために、モデルパラメータの方程式を導出し、勾配降下により最適化する。
論文参考訳（メタデータ） (2026-05-13T10:00:58Z)
Latent-Variable Learning of SPDEs via Wiener Chaos [2.0901018134712297]
線形偏微分方程式(SPDE)の法則を観測から加法的ガウス強制で学習する問題について検討する。提案手法はスペクトルガレルキン射影と乱れたウィナーカオス展開を組み合わせ、進化と強制領域を分離する。これにより、無限次元決定論的SPDEは、潜時時間力学を管理するパラメタライズされた常微分方程式の有限系に還元される。
論文参考訳（メタデータ） (2026-02-12T10:19:43Z)
A joint optimization approach to identifying sparse dynamics using least squares kernel collocation [70.13783231186183]
本研究では,通常の微分方程式(ODE)の学習システムを,状態の不足,部分的,ノイズの多い観測から学習するためのオール・アット・オンス・モデリング・フレームワークを開発する。提案手法は,関数ライブラリ上でのODEのスパースリカバリ戦略とカーネルヒルベルト空間(RKHS)理論による状態推定とODEの離散化の手法を組み合わせたものである。
論文参考訳（メタデータ） (2025-11-23T18:04:15Z)
A PDE Perspective on Generative Diffusion Models [8.328108675535562]
我々は、スコアベース拡散プロセスのための厳密な偏微分方程式(PDE)フレームワークを開発する。我々は、関連するスコアベースのFokker-Planckダイナミクスに対して、急激な$Lp$-stability推定を導出する。その結果、正確な誘導の下で拡散軌道がデータ多様体に戻るという理論的保証が得られる。
論文参考訳（メタデータ） (2025-11-08T09:19:25Z)
When and how can inexact generative models still sample from the data manifold? [2.4664553878979185]
スコア関数やドリフトベクトル場における学習誤差にもかかわらず、生成されたサンプルはデータ分布の支持を強調させるが、それから強調しないように見える。我々は、上のリャプノフベクトルとデータ多様体の境界に沿った接空間とのアライメントがロバスト性をもたらすことを示す。
論文参考訳（メタデータ） (2025-08-11T03:24:34Z)
Overcoming Dimensional Factorization Limits in Discrete Diffusion Models through Quantum Joint Distribution Learning [79.65014491424151]
量子離散化拡散確率モデル(QD3PM)を提案する。これは、指数関数的に大きなヒルベルト空間における拡散と denoising を通じて合同確率学習を可能にする。本稿では,共同分布学習における量子的優位性を生かして,生成モデルの新たな理論的パラダイムを確立する。
論文参考訳（メタデータ） (2025-05-08T11:48:21Z)
Understanding Diffusion Models by Feynman's Path Integral [2.4373900721120285]
ファインマン積分経路を用いた拡散モデルの新しい定式化を導入する。この定式化はスコアベース生成モデルの包括的記述を提供する。また、後方微分方程式と損失関数の導出を示す。
論文参考訳（メタデータ） (2024-03-17T16:24:29Z)
A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文参考訳（メタデータ） (2023-05-31T15:33:16Z)
Moment Estimation for Nonparametric Mixture Models Through Implicit Tensor Decomposition [7.139680863764187]
条件に依存しない混合モデルを$mathbbRn$で推定するために,最小二乗法を交互に最適化する手法を提案する。線形解を用いて、累積分布関数、高次モーメント、その他の成分分布の統計値を計算する。数値実験は、アルゴリズムの競合性能と、多くのモデルや応用への適用性を実証する。
論文参考訳（メタデータ） (2022-10-25T23:31:33Z)
Divergence Frontiers for Generative Models: Sample Complexity, Quantization Level, and Frontier Integral [58.434753643798224]
多様性フロンティアは生成モデルの評価フレームワークとして提案されている。分岐フロンティアのプラグイン推定器のサンプル複雑性の非漸近的境界を確立する。また,スムーズな分布推定器の統計的性能を調べることにより,分散フロンティアの枠組みも強化する。
論文参考訳（メタデータ） (2021-06-15T06:26:25Z)
Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。分散による離散乗法雑音のパラメータによく現れることを示す。最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文参考訳（メタデータ） (2020-06-11T09:58:01Z)
A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。