論文の概要: Error bounds for particle gradient descent, and extensions of the log-Sobolev and Talagrand inequalities

• arxiv url: http://arxiv.org/abs/2403.02004v1
• Date: Mon, 4 Mar 2024 12:57:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 18:47:16.823207
• Title: Error bounds for particle gradient descent, and extensions of the log-Sobolev and Talagrand inequalities
• Title（参考訳）: 粒子勾配降下の誤差境界と対数ソボレフとタラグランの不等式の拡張
• Authors: Rocco Caprio, Juan Kuntz, Samuel Power and Adam M. Johansen
• Abstract要約: 対数ソボレフとポリャク-ロジャシエヴィチの不等式の両方を一般化した条件を満たすモデルに対して、流れは指数関数的に自由エネルギーの最小値の集合に収束することを示す。 また、Bakry-'Emery Theorem を一般化し、LSI/PLI の一般化が強い凹凸対を持つモデルに対して成り立つことを示す。
• 参考スコア（独自算出の注目度）: 1.433758865948252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We prove non-asymptotic error bounds for particle gradient descent (PGD)~(Kuntz et al., 2023), a recently introduced algorithm for maximum likelihood estimation of large latent variable models obtained by discretizing a gradient flow of the free energy. We begin by showing that, for models satisfying a condition generalizing both the log-Sobolev and the Polyak--{\L}ojasiewicz inequalities (LSI and P{\L}I, respectively), the flow converges exponentially fast to the set of minimizers of the free energy. We achieve this by extending a result well-known in the optimal transport literature (that the LSI implies the Talagrand inequality) and its counterpart in the optimization literature (that the P{\L}I implies the so-called quadratic growth condition), and applying it to our new setting. We also generalize the Bakry--\'Emery Theorem and show that the LSI/P{\L}I generalization holds for models with strongly concave log-likelihoods. For such models, we further control PGD's discretization error, obtaining non-asymptotic error bounds. While we are motivated by the study of PGD, we believe that the inequalities and results we extend may be of independent interest.
• Abstract（参考訳）: 粒子勾配勾配(PGD)~(Kuntz et al., 2023)に対する非漸近誤差境界を証明し, 自由エネルギーの勾配流を離散化して得られる大きな潜伏変数モデルの最大推定法を提案する。 まず,log-Sobolev と Polyak-{\L}ojasiewicz の不等式 (LSI と P{\L}I) を一般化した条件を満たすモデルについて,流れは自由エネルギーの最小値の集合に指数関数的に収束することを示した。 我々は、最適輸送文献(LSIはタラグランドの不等式を意味する)と最適化文献(P{\L}Iはいわゆる二次成長条件を意味する)でよく知られた結果を拡張し、新しい環境に適用することで、これを達成した。 また、Bakry--\Emery Theorem を一般化し、LSI/P{\L}I の一般化が強い凹凸対を持つモデルに対して成り立つことを示す。 このようなモデルに対しては、PGDの離散化誤差をさらに制御し、非漸近誤差境界を得る。 我々はpgdの研究に動機づけられているが、拡張する不等式と結果が独立した関心事であると信じている。

関連論文リスト

• Tamed Langevin sampling under weaker conditions [27.872857402255775]
  ログコンケーブではなく,弱い散逸性しか持たない分布から抽出する問題について検討する。 そこで本研究では,対象分布の成長と崩壊特性に合わせたテイミング手法を提案する。 提案したサンプルに対して,Kulback-Leiblerの発散,全変動,ワッサーシュタイン距離といった条件で明確な非漸近保証を与える。
  論文  参考訳（メタデータ） (2024-05-27T23:00:40Z)
• Taming under isoperimetry [0.0]
  本稿では,ログの増大に伴う分布のサンプル化を目的としたLangevinベースのスキームであるmathbfsTULA$を提案する。 非漸近KLを導出し、結果としてLog-Sobolevの不等式を満たす。
  論文  参考訳（メタデータ） (2023-11-15T14:44:16Z)
• Convergence and concentration properties of constant step-size SGD through Markov chains [0.0]
  定常段差勾配勾配(SGD)を用いた滑らかで強凸な目標の最適化について検討する。 緩やかに制御された分散を伴う不偏勾配推定に対して、反復は全変動距離の不変分布に収束することを示す。 全ての結果は無症状であり、その結果はいくつかのアプリケーションを通して議論されている。
  論文  参考訳（メタデータ） (2023-06-20T12:36:28Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• From Gradient Flow on Population Loss to Learning with Stochastic Gradient Descent [50.4531316289086]
  SGD(Gradient Descent)は、大規模非ルートモデルの学習方法である。 集団損失のGFが収束すると仮定して、総合的な条件 SGD が収束する。 我々は、凸損失のような古典的な設定だけでなく、Retrieval Matrix sq-rootのようなより複雑な問題に対してもGD/SGDを統一的に解析する。
  論文  参考訳（メタデータ） (2022-10-13T03:55:04Z)
• High-dimensional limit theorems for SGD: Effective dynamics and critical scaling [6.950316788263433]
  我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。 下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。 この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
  論文  参考訳（メタデータ） (2022-06-08T17:42:18Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Sample-efficient L0-L2 constrained structure learning of sparse Ising models [3.056751497358646]
  スパースイジングモデルの基盤となるグラフを$n$ i.i.d.サンプルから$p$ノードで学習する問題を考察する。 濃度制約 L0 ノルムを有効に利用し、このノルムを L2 ノルムと組み合わせて非零係数をモデル化する。
  論文  参考訳（メタデータ） (2020-12-03T07:52:20Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。