Fugu-MT 論文翻訳(概要): Tractable structured natural gradient descent using local parameterizations

論文の概要: Tractable structured natural gradient descent using local parameterizations

arxiv url: http://arxiv.org/abs/2102.07405v1
Date: Mon, 15 Feb 2021 09:09:20 GMT
ステータス: 翻訳完了
システム内更新日: 2021-02-17 12:11:08.708248
Title: Tractable structured natural gradient descent using local parameterizations
Title（参考訳）: 局所パラメータ化を用いたトラクタブル構造化自然勾配降下
Authors: Wu Lin, Frank Nielsen, Mohammad Emtiyaz Khan, Mark Schmidt
Abstract要約: 構造化パラメータ空間上の自然勾配降下は、複雑な逆フィッシャー行列計算により計算的に困難である。我々は, emphlocal-パラメータ座標を用いてこの問題に対処する。我々は、ディープラーニング、変分推論、進化戦略に関する様々な応用について結果を示す。
参考スコア（独自算出の注目度）: 43.51581051770027
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Natural-gradient descent on structured parameter spaces (e.g., low-rank covariances) is computationally challenging due to complicated inverse Fisher-matrix computations. We address this issue for optimization, inference, and search problems by using \emph{local-parameter coordinates}. Our method generalizes an existing evolutionary-strategy method, recovers Newton and Riemannian-gradient methods as special cases, and also yields new tractable natural-gradient algorithms for learning flexible covariance structures of Gaussian and Wishart-based distributions. We show results on a range of applications on deep learning, variational inference, and evolution strategies. Our work opens a new direction for scalable structured geometric methods via local parameterizations.
Abstract（参考訳）: 構造化パラメータ空間(例えば低ランク共分散)の自然勾配降下は、複雑な逆フィッシャー行列計算のために計算的に困難である。この問題を最適化、推論、探索問題に対して \emph{local-parameter coordinates} を用いて対処します。提案手法は,既存の進化ストラテジー法を一般化し,特にニュートン法とリーマン法を復元し,ガウス分布とウィッシュアート分布のフレキシブルな共分散構造を学習するための,新たな抽出可能な自然勾配アルゴリズムを生成する。我々は、ディープラーニング、変分推論、進化戦略に関する様々な応用について結果を示す。我々の研究は、局所パラメータ化によるスケーラブルな構造的手法の新しい方向を開く。

関連論文リスト

Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
論文参考訳（メタデータ） (2025-04-01T14:36:45Z)
Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
論文参考訳（メタデータ） (2024-09-17T08:09:22Z)
Information Geometry and Beta Link for Optimizing Sparse Variational Student-t Processes [6.37512592611305]
勾配勾配勾配を用いた実世界のデータセットの計算効率と柔軟性を向上させるために,学生Tプロセスが提案されている。アダムのような伝統的な勾配降下法はパラメータ空間の幾何を十分に活用しない可能性があり、収束と準最適性能を遅くする可能性がある。我々は,情報幾何学から自然勾配法を適用し,学生-tプロセスの変分パラメータ最適化を行う。
論文参考訳（メタデータ） (2024-08-13T07:53:39Z)
Mixed Newton Method for Optimization in Complex Spaces [32.73124984242397]
任意の正則化は混合ニュートン法の良好な局所収束特性を保っていることを示す。ニューラルネットワークを実数パラメータと複素数パラメータで訓練するために適用したいくつかの変種を比較した。
論文参考訳（メタデータ） (2024-07-29T18:31:42Z)
Unnatural Algorithms in Machine Learning [0.0]
この特性を持つ最適化アルゴリズムは、自然勾配降下の離散近似とみなすことができる。本稿では、この自然性をより一般的に導入する簡単な方法を紹介し、多くの一般的な機械学習トレーニングアルゴリズムについて検討する。
論文参考訳（メタデータ） (2023-12-07T22:43:37Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
論文参考訳（メタデータ） (2022-06-14T12:30:11Z)
Structured second-order methods via natural gradient descent [43.51581051770027]
新たに構造化された2次法と構造化された適応勾配法を提案する。自然勾配降下は、多くの設定でアルゴリズムを設計するための魅力的なアプローチである。
論文参考訳（メタデータ） (2021-07-22T19:03:53Z)
Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文参考訳（メタデータ） (2021-06-09T08:05:36Z)
AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods [7.486132958737807]
適応性に対する暗黙的アプローチによる適応分散低減手法を提案する。有限サム最小化問題に対する収束保証を提供し,局所幾何が許せばサラよりも高速に収束できることを示す。このアルゴリズムはステップサイズを暗黙的に計算し、関数の局所リプシッツ滑らかさを効率的に推定する。
論文参考訳（メタデータ） (2021-02-19T01:17:15Z)
Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文参考訳（メタデータ） (2020-03-30T15:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。