論文の概要: Inclusive KL Minimization: A Wasserstein-Fisher-Rao Gradient Flow Perspective

• arxiv url: http://arxiv.org/abs/2411.00214v1
• Date: Thu, 31 Oct 2024 21:25:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:49:55.045722
• Title: Inclusive KL Minimization: A Wasserstein-Fisher-Rao Gradient Flow Perspective
• Title（参考訳）: 包括的KL最小化 - Wasserstein-Fisher-Rao Gradient Flow Perspective
• Authors: Jia-Jie Zhu,
• Abstract要約: 本稿では、勾配流の理論を用いて、一般化された近似的包摂的KL推論パラダイムを構築することができることを示す。 我々は、包摂的KL分散を最小化するためのワッサーシュタイン-フィッシャー-ラオ勾配流の理論的基礎を提供する。
• 参考スコア（独自算出の注目度）: 3.9795499448909015
• License:
• Abstract: Otto's (2001) Wasserstein gradient flow of the exclusive KL divergence functional provides a powerful and mathematically principled perspective for analyzing learning and inference algorithms. In contrast, algorithms for the inclusive KL inference, i.e., minimizing $ \mathrm{KL}(\pi \| \mu) $ with respect to $ \mu $ for some target $ \pi $, are rarely analyzed using tools from mathematical analysis. This paper shows that a general-purpose approximate inclusive KL inference paradigm can be constructed using the theory of gradient flows derived from PDE analysis. We uncover that several existing learning algorithms can be viewed as particular realizations of the inclusive KL inference paradigm. For example, existing sampling algorithms such as Arbel et al. (2019) and Korba et al. (2021) can be viewed in a unified manner as inclusive-KL inference with approximate gradient estimators. Finally, we provide the theoretical foundation for the Wasserstein-Fisher-Rao gradient flows for minimizing the inclusive KL divergence.
• Abstract（参考訳）: オットー (2001) の排他的KL発散関数のワッサーシュタイン勾配流は、学習と推論アルゴリズムを解析するための強力で数学的に原理化された視点を提供する。 対照的に、包含的KL推論のためのアルゴリズム、すなわち、ある対象に対して$ \mu $ に対して $ \mathrm{KL}(\pi \| \mu) $ を最小化するアルゴリズムは、数学的解析のツールを用いてほとんど分析されない。 本稿では,PDE解析から導出される勾配流の理論を用いて,汎用的な近似的包摂的KL推論パラダイムを構築することができることを示す。 我々は,既存の学習アルゴリズムが,包括的KL推論パラダイムの具体的実現とみなすことができることを明らかにした。 例えば、Arbel et al (2019) や Korba et al (2021) のような既存のサンプリングアルゴリズムは、近似勾配推定器を用いた包含KL推論として統一的に見ることができる。 最後に、包摂的KL分散を最小化するためのワッサーシュタイン-フィッシャー-ラオ勾配流の理論的基礎を提供する。

関連論文リスト

• Kernel Approximation of Fisher-Rao Gradient Flows [52.154685604660465]
  本稿では,フィッシャー・ラオ型およびワッサーシュタイン型勾配流の勾配構造,流れ方程式,および核近似に関する厳密な研究を行う。 具体的には、フィッシャー・ラオ幾何学とその様々なカーネルに基づく近似に注目し、原理的な理論的枠組みを開発する。
  論文  参考訳（メタデータ） (2024-10-27T22:52:08Z)
• Bridging the Gap Between Variational Inference and Wasserstein Gradient Flows [6.452626686361619]
  我々は変分推論とワッサーシュタイン勾配流のギャップを埋める。 ある条件下では、ビュール=ヴァッサーシュタイン勾配流はユークリッド勾配流として再キャストすることができる。 また,Wasserstein勾配流に対する蒸留法としてフレーミングすることで,経路微分勾配の別の視点も提供する。
  論文  参考訳（メタデータ） (2023-10-31T00:10:19Z)
• Compressed and distributed least-squares regression: convergence rates with applications to Federated Learning [9.31522898261934]
  機械学習の勾配アルゴリズムに対する圧縮の影響について検討する。 いくつかの非バイアス圧縮演算子間の収束率の差を強調した。 我々はその結果を連合学習の事例にまで拡張する。
  論文  参考訳（メタデータ） (2023-08-02T18:02:00Z)
• An Explicit Expansion of the Kullback-Leibler Divergence along its Fisher-Rao Gradient Flow [8.052709336750823]
  $pirhollback$が複数のモードを示すとき、$pirhollback$は、潜在的な関数とは無関係であることを示す。 私たちは$textKLの明示的な拡張を提供します。 KL。 KL。 KL。 KL。 KL。 KL。 KL。 KL。 KL。 KL。 KL。 KL。
  論文  参考訳（メタデータ） (2023-02-23T18:47:54Z)
• Sharper Rates and Flexible Framework for Nonconvex SGD with Client and Data Sampling [64.31011847952006]
  我々は、平均$n$スムーズでおそらくは非カラー関数のほぼ定常点を求める問題を再考する。 我々は$smallsfcolorgreen$を一般化し、事実上あらゆるサンプリングメカニズムで確実に動作するようにします。 我々は、スムーズな非カラー状態における最適境界の最も一般的な、最も正確な解析を提供する。
  論文  参考訳（メタデータ） (2022-06-05T21:32:33Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)
• A unified view of likelihood ratio and reparameterization gradients [91.4645013545015]
  我々は、LRとRPが確率質量の運動を追跡する代替方法であることを示すために、第一原理のアプローチを用いる。 LRとRPを組み合わせた全ての可能な推定器の空間は、流れ場によって完全にパラメータ化可能であることを示す。 したがって、より優れたモンテカルロ勾配推定器をどこに探すべきかを明確にする。
  論文  参考訳（メタデータ） (2021-05-31T11:53:08Z)
• Kernel Stein Discrepancy Descent [16.47373844775953]
  Kernel Stein Discrepancy (KSD) は近年注目されている。 我々は、目標確率分布を$mathbbRd$上で近似するために、ワッサーシュタイン勾配流の特性について検討する。 これにより、直接実装可能な決定論的スコアベースのメソッドが、$pi$、KSD Descentからサンプリングされる。
  論文  参考訳（メタデータ） (2021-05-20T19:05:23Z)
• Reinforcement Learning with General Value Function Approximation: Provably Efficient Approach via Bounded Eluder Dimension [124.7752517531109]
  一般値関数近似を用いた効率の良い強化学習アルゴリズムを確立する。 我々のアルゴリズムは、$d$が複雑性測度である場合、$widetildeO(mathrmpoly(dH)sqrtT)$の後悔の限界を達成することを示す。 我々の理論は線形値関数近似によるRLの最近の進歩を一般化し、環境モデルに対する明示的な仮定をしない。
  論文  参考訳（メタデータ） (2020-05-21T17:36:09Z)
• Markovian Score Climbing: Variational Inference with KL(p||q) [16.661889249333676]
  我々は「排他的クルバック・リーブラ」(KL)KL(p q)を確実に最小化する簡単なアルゴリズムを開発する。 この方法は包含KLの局所最適化に収束する。 Reweighted Wake-Sleep(英語版)やNeural Adaptive Monte Carlo(英語版)のような既存の手法に固有の体系的な誤りに悩まされない。
  論文  参考訳（メタデータ） (2020-03-23T16:38:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。