論文の概要: Wasserstein Gradient Flows for Moreau Envelopes of f-Divergences in Reproducing Kernel Hilbert Spaces

• arxiv url: http://arxiv.org/abs/2402.04613v3
• Date: Thu, 16 Jan 2025 12:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:08:03.698374
• Title: Wasserstein Gradient Flows for Moreau Envelopes of f-Divergences in Reproducing Kernel Hilbert Spaces
• Title（参考訳）: 核ヒルベルト空間の再生におけるf-ジヴァージェンスのモローエンベロープに対するワッサーシュタイン勾配流れ
• Authors: Viktor Stein, Sebastian Neumayer, Nicolaj Rux, Gabriele Steidl,
• Abstract要約: 特性カーネル$K$に付随する2乗最大平均誤差により$f$-divergenceを正規化する。 ヒルベルト空間におけるモローエンベロープのよく知られた結果を利用して、MDD規則化された$f$-divergencesを解析する。 本稿では,経験的指標から始まる流れの概念実証数値例を提案する。
• 参考スコア（独自算出の注目度）: 1.2499537119440245
• License:
• Abstract: Commonly used $f$-divergences of measures, e.g., the Kullback-Leibler divergence, are subject to limitations regarding the support of the involved measures. A remedy is regularizing the $f$-divergence by a squared maximum mean discrepancy (MMD) associated with a characteristic kernel $K$. We use the kernel mean embedding to show that this regularization can be rewritten as the Moreau envelope of some function on the associated reproducing kernel Hilbert space. Then, we exploit well-known results on Moreau envelopes in Hilbert spaces to analyze the MMD-regularized $f$-divergences, particularly their gradients. Subsequently, we use our findings to analyze Wasserstein gradient flows of MMD-regularized $f$-divergences. We provide proof-of-the-concept numerical examples for flows starting from empirical measures. Here, we cover $f$-divergences with infinite and finite recession constants. Lastly, we extend our results to the tight variational formulation of $f$-divergences and numerically compare the resulting flows.
• Abstract（参考訳）: 一般的に用いられる$f$-divergences of measures(例えば、Kulback-Leiblerの発散)は、関連する措置の支持に関する制限を受ける。 対策は、特性カーネル$K$に付随する2乗最大平均誤差(MMD)によって$f$-divergenceを正規化することである。 カーネル平均埋め込みを用いて、この正規化が、関連する再生カーネルヒルベルト空間上のある関数のモローエンベロープとして書き換えられることを示す。 そして、ヒルベルト空間のモローエンベロープのよく知られた結果を利用して、MDD規則化された$f$-divergences、特にその勾配を解析する。 その後,MDD規則化$f$-divergencesのワッサースタイン勾配流の解析を行った。 本稿では,経験的指標から始まる流れの概念実証数値例を提案する。 ここでは、無限の凹凸定数と有限の凹凸定数を持つ$f$-divergencesをカバーしている。 最後に、この結果を$f$-divergencesの厳密な変動式に拡張し、結果の流れを数値的に比較する。

関連論文リスト

• A Unified Analysis for Finite Weight Averaging [50.75116992029417]
  Gradient Descent(SGD)の平均イテレーションは、SWA(Weight Averaging)、EMA(Exponential moving Average)、LAWA(Latest Weight Averaging)といったディープラーニングモデルのトレーニングにおいて、経験的な成功を収めている。 本稿では、LAWAを有限重み平均化(FWA)として一般化し、最適化と一般化の観点からSGDと比較して、それらの利点を説明する。
  論文  参考訳（メタデータ） (2024-11-20T10:08:22Z)
• Neural Sampling from Boltzmann Densities: Fisher-Rao Curves in the Wasserstein Geometry [1.609940380983903]
  正規化されていないボルツマン密度$rho_D$から、$f_t$で与えられるボルツマン曲線を学習することで、サンプリングを行う。 M'at'e と Fleuret に触発されて、f_t$ のみをパラメータ化し、適切な $v_t$ を修正する方法を提案する。 これはランゲヴィン力学に関連するクルバック・リーブラー発散のワッサーシュタインフローに対応する。
  論文  参考訳（メタデータ） (2024-10-04T09:54:11Z)
• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Convergence and concentration properties of constant step-size SGD through Markov chains [0.0]
  定常段差勾配勾配(SGD)を用いた滑らかで強凸な目標の最適化について検討する。 緩やかに制御された分散を伴う不偏勾配推定に対して、反復は全変動距離の不変分布に収束することを示す。 全ての結果は無症状であり、その結果はいくつかのアプリケーションを通して議論されている。
  論文  参考訳（メタデータ） (2023-06-20T12:36:28Z)
• An Explicit Expansion of the Kullback-Leibler Divergence along its Fisher-Rao Gradient Flow [8.052709336750823]
  $pirhollback$が複数のモードを示すとき、$pirhollback$は、潜在的な関数とは無関係であることを示す。 私たちは$textKLの明示的な拡張を提供します。 KL。 KL。 KL。 KL。 KL。 KL。 KL。 KL。 KL。 KL。 KL。 KL。
  論文  参考訳（メタデータ） (2023-02-23T18:47:54Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Mean-Square Analysis with An Application to Optimal Dimension Dependence of Langevin Monte Carlo [60.785586069299356]
  この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。 我々の理論解析は数値実験によってさらに検証される。
  論文  参考訳（メタデータ） (2021-09-08T18:00:05Z)
• Moreau-Yosida $f$-divergences [0.0]
  $f$-divergencesの変分表現は多くの機械学習アルゴリズムの中心である。 コンパクト計量空間上の確率測度の場合、$f$-divergencesのいわゆるタイトな変動表現を一般化する。 我々は、Kullback-Leibler, reverse Kullback-Leibler, $chi2$, reverse $chi2$, squared Hellinger, Jensen-Shannon, Jeffreys, triangular discrimination and total variation divergencesの変分式の実装を提供する。
  論文  参考訳（メタデータ） (2021-02-26T11:46:10Z)
• On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient Flow [26.725412498545385]
  パラメトリックカーネル化勾配流は、勾配正規化$mathrmMMD$GANにおけるmin-maxゲームに類似していることを示す。 次に、正規化$mathrmMMD$GANにおける生成元の空間上の勾配降下が、対象分布に大域的に収束することを保証する明示的な条件を導出する。
  論文  参考訳（メタデータ） (2020-11-04T16:55:00Z)
• A diffusion approach to Stein's method on Riemannian manifolds [65.36007959755302]
  我々は、ターゲット不変測度を持つ$mathbf M$上の拡散の生成元と、その特徴付けStein演算子との関係を利用する。 我々は、スタイン方程式とその微分に解を束縛するスタイン因子を導出する。 我々は、$mathbf M$ が平坦多様体であるとき、$mathbb Rm$ の有界が有効であることを暗示する。
  論文  参考訳（メタデータ） (2020-03-25T17:03:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。