論文の概要: Tractable structured natural gradient descent using local parameterizations

• arxiv url: http://arxiv.org/abs/2102.07405v1
• Date: Mon, 15 Feb 2021 09:09:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 12:11:08.708248
• Title: Tractable structured natural gradient descent using local parameterizations
• Title（参考訳）: 局所パラメータ化を用いたトラクタブル構造化自然勾配降下
• Authors: Wu Lin, Frank Nielsen, Mohammad Emtiyaz Khan, Mark Schmidt
• Abstract要約: 構造化パラメータ空間上の自然勾配降下は、複雑な逆フィッシャー行列計算により計算的に困難である。 我々は, emphlocal-パラメータ座標を用いてこの問題に対処する。 我々は、ディープラーニング、変分推論、進化戦略に関する様々な応用について結果を示す。
• 参考スコア（独自算出の注目度）: 43.51581051770027
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural-gradient descent on structured parameter spaces (e.g., low-rank covariances) is computationally challenging due to complicated inverse Fisher-matrix computations. We address this issue for optimization, inference, and search problems by using \emph{local-parameter coordinates}. Our method generalizes an existing evolutionary-strategy method, recovers Newton and Riemannian-gradient methods as special cases, and also yields new tractable natural-gradient algorithms for learning flexible covariance structures of Gaussian and Wishart-based distributions. We show results on a range of applications on deep learning, variational inference, and evolution strategies. Our work opens a new direction for scalable structured geometric methods via local parameterizations.
• Abstract（参考訳）: 構造化パラメータ空間(例えば低ランク共分散)の自然勾配降下は、複雑な逆フィッシャー行列計算のために計算的に困難である。 この問題を最適化、推論、探索問題に対して \emph{local-parameter coordinates} を用いて対処します。 提案手法は,既存の進化ストラテジー法を一般化し,特にニュートン法とリーマン法を復元し,ガウス分布とウィッシュアート分布のフレキシブルな共分散構造を学習するための,新たな抽出可能な自然勾配アルゴリズムを生成する。 我々は、ディープラーニング、変分推論、進化戦略に関する様々な応用について結果を示す。 我々の研究は、局所パラメータ化によるスケーラブルな構造的手法の新しい方向を開く。

関連論文リスト

• Adaptive Stochastic Optimisation of Nonconvex Composite Objectives [2.1700203922407493]
  一般化された複合ミラー降下アルゴリズムの一群を提案し,解析する。 適応的なステップサイズでは、提案アルゴリズムは問題の事前知識を必要とせずに収束する。 決定集合の低次元構造を高次元問題に活用する。
  論文  参考訳（メタデータ） (2022-11-21T18:31:43Z)
• The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
  本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。 ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。 ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
  論文  参考訳（メタデータ） (2022-06-14T12:30:11Z)
• Deep Signatures -- Learning Invariants of Planar Curves [12.699486382844393]
  平面曲線の微分不変量の数値近似のための学習パラダイムを提案する。 深層ニューラルネットワーク(DNN)の普遍近似特性を用いて幾何学的測度を推定する。
  論文  参考訳（メタデータ） (2022-02-11T22:34:15Z)
• Towards Modeling and Resolving Singular Parameter Spaces using Stratifolds [18.60761407945024]
  学習力学において、特異点は学習軌道の引力として作用し、従ってモデルの収束速度に悪影響を及ぼす。 直交多様体を用いて特異点から生じる問題を回避するための一般的な手法を提案する。 経験的に、特異空間の代わりに滑らかな多様体近似に(自然な)勾配勾配を用いることで、魅力の振舞いを回避でき、学習における収束速度を向上できることを示す。
  論文  参考訳（メタデータ） (2021-12-07T14:42:45Z)
• Structured second-order methods via natural gradient descent [43.51581051770027]
  新たに構造化された2次法と構造化された適応勾配法を提案する。 自然勾配降下は、多くの設定でアルゴリズムを設計するための魅力的なアプローチである。
  論文  参考訳（メタデータ） (2021-07-22T19:03:53Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods [7.486132958737807]
  適応性に対する暗黙的アプローチによる適応分散低減手法を提案する。 有限サム最小化問題に対する収束保証を提供し,局所幾何が許せばサラよりも高速に収束できることを示す。 このアルゴリズムはステップサイズを暗黙的に計算し、関数の局所リプシッツ滑らかさを効率的に推定する。
  論文  参考訳（メタデータ） (2021-02-19T01:17:15Z)
• Local optimization on pure Gaussian state manifolds [63.76263875368856]
  ボソニックおよびフェルミオンガウス状態の幾何学に関する洞察を利用して、効率的な局所最適化アルゴリズムを開発する。 この手法は局所幾何学に適応した降下勾配の概念に基づいている。 提案手法を用いて、任意の混合ガウス状態の精製の絡み合いを計算するのにガウス浄化が十分であるという予想の数値的および解析的証拠を収集する。
  論文  参考訳（メタデータ） (2020-09-24T18:00:36Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。