論文の概要: Riemannian Natural Gradient Methods

• arxiv url: http://arxiv.org/abs/2207.07287v1
• Date: Fri, 15 Jul 2022 04:33:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-18 14:31:28.040619
• Title: Riemannian Natural Gradient Methods
• Title（参考訳）: リーマン自然勾配法
• Authors: Jiang Hu, Ruicheng Ao, Anthony Man-Cho So, Minghan Yang, and Zaiwen Wen
• Abstract要約: 本稿では, 自然勾配法の自然な拡張と見なすことができる, 多様体設定におけるフィッシャー情報行列の概念を紹介する。 提案手法のほぼ完全な大域収束を標準仮定の下で確立する。 機械学習による応用に関する数値実験は、最先端の手法よりも提案手法の利点を実証している。
• 参考スコア（独自算出の注目度）: 21.14740680011498
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies large-scale optimization problems on Riemannian manifolds whose objective function is a finite sum of negative log-probability losses. Such problems arise in various machine learning and signal processing applications. By introducing the notion of Fisher information matrix in the manifold setting, we propose a novel Riemannian natural gradient method, which can be viewed as a natural extension of the natural gradient method from the Euclidean setting to the manifold setting. We establish the almost-sure global convergence of our proposed method under standard assumptions. Moreover, we show that if the loss function satisfies certain convexity and smoothness conditions and the input-output map satisfies a Riemannian Jacobian stability condition, then our proposed method enjoys a local linear -- or, under the Lipschitz continuity of the Riemannian Jacobian of the input-output map, even quadratic -- rate of convergence. We then prove that the Riemannian Jacobian stability condition will be satisfied by a two-layer fully connected neural network with batch normalization with high probability, provided that the width of the network is sufficiently large. This demonstrates the practical relevance of our convergence rate result. Numerical experiments on applications arising from machine learning demonstrate the advantages of the proposed method over state-of-the-art ones.
• Abstract（参考訳）: 本稿では,負の対数確率損失の有限和を目的関数とするリーマン多様体の大規模最適化問題を考察する。 このような問題は、様々な機械学習や信号処理の応用で発生する。 本稿では,フィッシャー情報行列の概念を多様体設定に導入することにより,ユークリッド設定から多様体設定への自然勾配法の自然な拡張と見なすことのできる,新しいリーマン自然勾配法を提案する。 提案手法のほぼ完全な大域収束を標準仮定の下で確立する。 さらに,損失関数がある種の凸性と滑らか性条件を満たし,入力出力写像がリーマンヤコビアン安定条件を満たすならば,提案手法は局所線形 -- あるいは,入力出力写像のリーマンヤコビアンのリプシッツ連続性の下で,あるいは二次的-収束率でさえも満足できることを示す。 次に、リーマンヤコビアン安定性条件は、ネットワークの幅が十分に大きい場合、高い確率でバッチ正規化された2層完全連結ニューラルネットワークによって満たされることを示す。 これは収束率の結果の実践的関連性を示している。 機械学習による応用に関する数値実験は、最先端技術よりも提案手法の利点を実証している。

関連論文リスト

• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Riemannian Federated Learning via Averaging Gradient Stream [8.75592575216789]
  本稿では,RFedAGS(Federated Averaging Gradient Stream)アルゴリズムの開発と解析を行う。 合成および実世界のデータを用いて数値シミュレーションを行い,提案したRFedAGSの性能を実証した。
  論文  参考訳（メタデータ） (2024-09-11T12:28:42Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
  本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。 ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。 ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
  論文  参考訳（メタデータ） (2022-06-14T12:30:11Z)
• A Riemannian smoothing steepest descent method for non-Lipschitz optimization on submanifolds [15.994495285950293]
  部分多様体上の非Lipschitz関数を最小化するスムースな急降下法を提案する。 滑らか化関数によって生成される列の任意の点が元の非リプシッツ問題の極限点であることを証明する。 提案手法の効率性を示すために, 数値実験を行った。
  論文  参考訳（メタデータ） (2021-04-09T05:38:28Z)
• Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
  本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。 本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。 本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
  論文  参考訳（メタデータ） (2020-11-09T02:51:17Z)
• Stochastic Zeroth-order Riemannian Derivative Estimation and Optimization [15.78743548731191]
  多様体非線型性の非線型性の難しさを克服するために、ガウス滑らか化関数のオラクル版を提案する。 ニューラルネットワークに対するロボティクスとブラックボックス攻撃に対するブラックボックス剛性制御における,結果によるアルゴリズムの適用性と実世界の応用を実証する。
  論文  参考訳（メタデータ） (2020-03-25T06:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。