論文の概要: Kernel Approximation of Fisher-Rao Gradient Flows

• arxiv url: http://arxiv.org/abs/2410.20622v1
• Date: Sun, 27 Oct 2024 22:52:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:16:06.510776
• Title: Kernel Approximation of Fisher-Rao Gradient Flows
• Title（参考訳）: フィッシャー-ラオ勾配流れのカーネル近似
• Authors: Jia-Jie Zhu, Alexander Mielke,
• Abstract要約: 本稿では,フィッシャー・ラオ型およびワッサーシュタイン型勾配流の勾配構造,流れ方程式,および核近似に関する厳密な研究を行う。 具体的には、フィッシャー・ラオ幾何学とその様々なカーネルに基づく近似に注目し、原理的な理論的枠組みを開発する。
• 参考スコア（独自算出の注目度）: 52.154685604660465
• License:
• Abstract: The purpose of this paper is to answer a few open questions in the interface of kernel methods and PDE gradient flows. Motivated by recent advances in machine learning, particularly in generative modeling and sampling, we present a rigorous investigation of Fisher-Rao and Wasserstein type gradient flows concerning their gradient structures, flow equations, and their kernel approximations. Specifically, we focus on the Fisher-Rao (also known as Hellinger) geometry and its various kernel-based approximations, developing a principled theoretical framework using tools from PDE gradient flows and optimal transport theory. We also provide a complete characterization of gradient flows in the maximum-mean discrepancy (MMD) space, with connections to existing learning and inference algorithms. Our analysis reveals precise theoretical insights linking Fisher-Rao flows, Stein flows, kernel discrepancies, and nonparametric regression. We then rigorously prove evolutionary $\Gamma$-convergence for kernel-approximated Fisher-Rao flows, providing theoretical guarantees beyond pointwise convergence. Finally, we analyze energy dissipation using the Helmholtz-Rayleigh principle, establishing important connections between classical theory in mechanics and modern machine learning practice. Our results provide a unified theoretical foundation for understanding and analyzing approximations of gradient flows in machine learning applications through a rigorous gradient flow and variational method perspective.
• Abstract（参考訳）: 本研究の目的は,カーネルメソッドとPDE勾配流のインターフェースにおいて,いくつかのオープンな疑問に答えることである。 近年の機械学習,特に生成モデルとサンプリングの進歩により,我々はフィッシャー・ラオ型およびワッサーシュタイン型勾配流の勾配構造,フロー方程式,およびカーネル近似に関する厳密な研究を行った。 具体的には、PDE勾配流と最適輸送理論のツールを用いた理論的枠組みを考案し、フィッシャー・ラオ幾何(ヘリンジャーとも呼ばれる)とその様々なカーネルベースの近似に焦点を当てる。 また、既存の学習アルゴリズムと推論アルゴリズムとの接続により、MMD空間における勾配流の完全な特徴付けも提供する。 解析の結果,フィッシャー・ラオ流,スタイン流,カーネルの相違,非パラメトリック回帰を関連づけた正確な理論的知見が得られた。 次に、カーネル近似フィッシャー・ラオ流に対する進化的$\Gamma$-収束を厳密に証明し、点収束を超えた理論的保証を提供する。 最後に,Helmholtz-Rayleigh 原理を用いてエネルギー散逸を分析し,力学における古典理論と現代の機械学習の実践との間に重要なつながりを確立する。 この結果は、厳密な勾配流と変分法の観点から、機械学習アプリケーションにおける勾配流の近似を理解し解析するための統一的な理論基盤を提供する。

関連論文リスト

• Dynamic Decoupling of Placid Terminal Attractor-based Gradient Descent Algorithm [56.06235614890066]
  勾配降下(GD)と勾配降下(SGD)は多くのアプリケーションドメインで広く使われている。 本稿では, 勾配流の異なる段階における終端アトラクタに基づくGDのダイナミクスを慎重に解析する。
  論文  参考訳（メタデータ） (2024-09-10T14:15:56Z)
• Accelerated Evaluation of Ollivier-Ricci Curvature Lower Bounds: Bridging Theory and Computation [0.0]
  曲線は強力な記述不変量として機能し、その有効性は理論上も実際上もグラフ理論内で検証される。 我々は、Ollivierによって提唱された一般化リッチ曲率の定義を使用し、LinとYauは後にOllivier-Ricci曲率(ORC)として知られるグラフ理論に適応した。 ORCはワッサーシュタイン距離を用いて曲率を測り、幾何学的概念と確率論と最適輸送を統合する。
  論文  参考訳（メタデータ） (2024-05-22T02:44:46Z)
• Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
  本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。 この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
  論文  参考訳（メタデータ） (2024-02-13T14:13:17Z)
• Neural Sinkhorn Gradient Flow [11.4522103360875]
  本稿では,ワッサーシュタイン勾配流の時間変化速度場をパラメータ化したニューラルシンクホーン勾配流(NSGF)モデルを提案する。 理論解析により, 試料径が無限大に大きくなるにつれて, 経験的近似の平均場限界は真の基礎速度場に収束することが示された。 高次元タスクにおけるモデル効率をさらに高めるために、二相NSGF++モデルが考案された。
  論文  参考訳（メタデータ） (2024-01-25T10:44:50Z)
• Geometry-Aware Normalizing Wasserstein Flows for Optimal Causal Inference [0.0]
  本稿では,パラメトリックサブモデルと連続正規化フローを統合することにより,因果推論に対する画期的なアプローチを提案する。 我々は、最適輸送とワッサーシュタイン勾配流を利用して、有限サンプル設定における最小分散の因果推論手法を開発する。 予備実験では, 従来の流れに比べて平均二乗誤差が低い。
  論文  参考訳（メタデータ） (2023-11-30T18:59:05Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Two-Level K-FAC Preconditioning for Deep Learning [7.699428789159717]
  ディープラーニングの文脈では、グラディエントDescentの収束を加速するために、多くの最適化手法が勾配共分散情報を使用する。 特に、アダグラード(Adagrad)から始まり、一見無限に現れる研究のラインは、いわゆる経験的フィッシャー行列の対角近似の使用を提唱している。 特に成功した方法はK-FAC(Kronecker-ed block-factored preconditioner)と呼ばれる方法である。
  論文  参考訳（メタデータ） (2020-11-01T17:54:21Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。