論文の概要: Information Newton's flow: second-order optimization method in probability space

• arxiv url: http://arxiv.org/abs/2001.04341v4
• Date: Wed, 5 Aug 2020 01:28:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 22:47:37.327887
• Title: Information Newton's flow: second-order optimization method in probability space
• Title（参考訳）: 情報ニュートン流:確率空間における二階最適化法
• Authors: Yifei Wang and Wuchen Li
• Abstract要約: 確率空間におけるニュートンのフローのフレームワークについて,情報メトリクス,名前付き情報,ニュートンのフローについて紹介する。 既知の事実は、過剰なランゲヴィンの力学がクルバック・リーバーの発散のワッサーシュタイン勾配流に対応することである。 一次元空間とガウス族の両方におけるニュートンのランゲヴィン力学の例を示す。
• 参考スコア（独自算出の注目度）: 10.340665633567083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a framework for Newton's flows in probability space with information metrics, named information Newton's flows. Here two information metrics are considered, including both the Fisher-Rao metric and the Wasserstein-2 metric. A known fact is that overdamped Langevin dynamics correspond to Wasserstein gradient flows of Kullback-Leibler (KL) divergence. Extending this fact to Wasserstein Newton's flows, we derive Newton's Langevin dynamics. We provide examples of Newton's Langevin dynamics in both one-dimensional space and Gaussian families. For the numerical implementation, we design sampling efficient variational methods in affine models and reproducing kernel Hilbert space (RKHS) to approximate Wasserstein Newton's directions. We also establish convergence results of the proposed information Newton's method with approximated directions. Several numerical examples from Bayesian sampling problems are shown to demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: 本稿では,情報メトリクスを用いた確率空間におけるニュートン流のフレームワークについて紹介する。 ここでは、フィッシャー・ラオ計量とワッサースタイン-2計量の両方を含む2つの情報指標を考える。 既知の事実は、過減衰ランジュバンダイナミクスがクルバック・ライバー(kl)分岐のwasserstein勾配流に対応することである。 この事実をワッサースタインニュートンの流れにまで拡張し、ニュートンのランジュバン力学を導出する。 一次元空間とガウス族の両方におけるニュートンのランゲヴィン力学の例を示す。 数値化のために,アフィンモデルにおける効率的な変分法をサンプリングし,ワッサースタインニュートンの方向を近似するために,カーネルヒルベルト空間 (rkhs) を再現する。 また,提案した情報に対するNewtonの手法の収束結果を近似方向で決定する。 ベイジアンサンプリング問題から得られたいくつかの数値例は,提案手法の有効性を示すものである。

関連論文リスト

• FedNS: A Fast Sketching Newton-Type Algorithm for Federated Learning [27.957498393822338]
  我々は, 高速収束率を保ちながら, この問題に対処するための新しいアプローチを導入する。 提案手法はFedNS (Federated Newton Sketch Method) と名付けられ, 正確なヘシアンではなく, スケッチした平方根ヘシアンを通信することにより, ニュートンの手法を近似する。 連合ニュートンスケッチ手法の統計的学習に基づく収束解析を行う。
  論文  参考訳（メタデータ） (2024-01-05T10:06:41Z)
• Backtracking New Q-Newton's method, Newton's flow, Voronoi's diagram and Stochastic root finding [0.0]
  ニュートン法の新しい変種 - Backtracking New Q-Newton's method (BNQN) は強力な理論的保証を持ち、実装が容易であり、優れた実験性能を有する。
  論文  参考訳（メタデータ） (2024-01-02T15:37:47Z)
• Augmented Newton Method for Optimization: Global Linear Rate and Momentum Interpretation [0.0]
  制約のない問題を解くために,ニュートン法の2つの変種を提案する。 我々は、Penalty Newton法とAugmented Newton法という、ニュートン法の新しい変種を生成する。
  論文  参考訳（メタデータ） (2022-05-23T04:34:10Z)
• Inertial Newton Algorithms Avoiding Strict Saddle Points [0.7614628596146602]
  ニュートン法と慣性勾配勾配を混合した二階アルゴリズムの挙動について検討した。 これらの手法のニュートン的振る舞いは、ほとんど常に厳密な点から逃れていることを示す。
  論文  参考訳（メタデータ） (2021-11-08T16:02:45Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)
• Discriminative Bayesian filtering lends momentum to the stochastic Newton method for minimizing log-convex functions [0.0]
  本稿では,Newton法が勾配およびヘッセン版のサブサンプル版を用いて,その推定値を反復的に更新する方法を示す。 ベイズフィルタを適用して、観測の歴史全体について考察する。 古い観測結果が減少する行列に基づく条件を確立する。 このアプローチのさまざまな側面を、Newtonメソッドの例や他のイノベーションで説明します。
  論文  参考訳（メタデータ） (2021-04-27T02:39:21Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• Learning High Dimensional Wasserstein Geodesics [55.086626708837635]
  高次元の2つの確率分布の間のワッサーシュタイン測地線を計算するための新しい定式化と学習戦略を提案する。 ラグランジュ乗算器の手法を最適輸送(OT)問題の動的定式化に適用することにより、サドル点がワッサーシュタイン測地線であるミニマックス問題を導出する。 次に、深層ニューラルネットワークによる関数のパラメータ化を行い、トレーニングのためのサンプルベースの双方向学習アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-02-05T04:25:28Z)
• Learning Unknown Physics of non-Newtonian Fluids [56.9557910899739]
  我々は,2つの非ニュートン系の粘度モデルを学ぶために,物理インフォームドニューラルネットワーク(PINN)法を拡張した。 PINNで推論された粘度モデルは、絶対値が大きいが、せん断速度が0に近い場合の実験的モデルと一致する。 PINN法を用いて,境界条件のみを用いて非ニュートン流体の運動量保存方程式を解く。
  論文  参考訳（メタデータ） (2020-08-26T20:41:36Z)
• Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks [96.87076679064499]
  我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。 ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。 ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
  論文  参考訳（メタデータ） (2020-07-21T17:42:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。