Fugu-MT 論文翻訳(概要): Structured second-order methods via natural gradient descent

論文の概要: Structured second-order methods via natural gradient descent

arxiv url: http://arxiv.org/abs/2107.10884v1
Date: Thu, 22 Jul 2021 19:03:53 GMT
ステータス: 処理完了
システム内更新日: 2021-07-27 01:13:54.230422
Title: Structured second-order methods via natural gradient descent
Title（参考訳）: 自然勾配降下による構造的二階法
Authors: Wu Lin, Frank Nielsen, Mohammad Emtiyaz Khan, Mark Schmidt
Abstract要約: 新たに構造化された2次法と構造化された適応勾配法を提案する。自然勾配降下は、多くの設定でアルゴリズムを設計するための魅力的なアプローチである。
参考スコア（独自算出の注目度）: 43.51581051770027
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we propose new structured second-order methods and structured adaptive-gradient methods obtained by performing natural-gradient descent on structured parameter spaces. Natural-gradient descent is an attractive approach to design new algorithms in many settings such as gradient-free, adaptive-gradient, and second-order methods. Our structured methods not only enjoy a structural invariance but also admit a simple expression. Finally, we test the efficiency of our proposed methods on both deterministic non-convex problems and deep learning problems.
Abstract（参考訳）: 本稿では,構造化パラメータ空間上で自然勾配降下を行う新しい構造的二階法と構造的適応勾配法を提案する。自然勾配降下は、勾配のない、適応勾配の、二階法といった多くの設定で新しいアルゴリズムを設計するための魅力的なアプローチである。構造的手法は構造的不変性だけでなく、単純な表現も持つ。最後に,決定論的非凸問題と深層学習問題の両方に対する提案手法の有効性を検証した。

関連論文リスト

Towards Differentiable Multilevel Optimization: A Gradient-Based Approach [1.6114012813668932]
本稿では,多レベル最適化のための新しい勾配に基づくアプローチを提案する。本手法は解の精度と収束速度を両立させながら計算複雑性を著しく低減する。私たちの知る限りでは、これは暗黙の微分の一般的なバージョンを提供する最初のアルゴリズムの1つである。
論文参考訳（メタデータ） (2024-10-15T06:17:59Z)
On the convergence of adaptive first order methods: proximal gradient and alternating minimization algorithms [4.307128674848627]
AdaPG$q,r$は、より大きな段階的なポリシーと改善された下位境界を提供することで、既存の結果を統一し、拡張するフレームワークである。パラメータの$q$と$r$の異なる選択について論じ、数値シミュレーションにより結果の有効性を実証する。
論文参考訳（メタデータ） (2023-11-30T10:29:43Z)
On Constraints in First-Order Optimization: A View from Non-Smooth Dynamical Systems [99.59934203759754]
本稿では,スムーズな制約付き最適化のための一階法について紹介する。提案手法の2つの特徴は、実現可能な集合全体の投影や最適化が避けられることである。結果として得られるアルゴリズムの手順は、制約が非線形であっても簡単に実装できる。
論文参考訳（メタデータ） (2021-07-17T11:45:13Z)
Tractable structured natural gradient descent using local parameterizations [43.51581051770027]
構造化パラメータ空間上の自然勾配降下は、複雑な逆フィッシャー行列計算により計算的に困難である。我々は, emphlocal-パラメータ座標を用いてこの問題に対処する。我々は、ディープラーニング、変分推論、進化戦略に関する様々な応用について結果を示す。
論文参考訳（メタデータ） (2021-02-15T09:09:20Z)
Structured Sparsity Inducing Adaptive Optimizers for Deep Learning [94.23102887731417]
本稿では、近位勾配法に必要な成分である重み付き近位作用素を導出する。この適応法は, 重み付き近位演算子とともに, 空間パターンに構造をもつ解を求めることができることを示す。
論文参考訳（メタデータ） (2021-02-07T18:06:23Z)
A Bregman Method for Structure Learning on Sparse Directed Acyclic Graphs [84.7328507118758]
構造学習のためのBregman近位勾配法を開発した。高い非線形反復に対する曲率の影響を計測する。様々な合成および実集合上で本手法をテストする。
論文参考訳（メタデータ） (2020-11-05T11:37:44Z)
Conditional Gradient Methods for Convex Optimization with General Affine and Nonlinear Constraints [8.643249539674612]
本稿では,一般アフィンおよび非線形制約を用いた凸最適化問題に対する条件勾配法を提案する。まず、スムーズかつ構造化された非滑らかな関数制約凸最適化に対して、$cal O (1/epsilon2)$の反復複雑性を達成できる新しい制約外挿条件勾配(CoexCG)法を提案する。さらに,制約外挿法と二重正規化条件勾配法(CoexDurCG)の新たな変種を開発した。
論文参考訳（メタデータ） (2020-06-30T23:49:38Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)
Handling the Positive-Definite Constraint in the Bayesian Learning Rule [33.87717973872535]
ベイズ学習規則 (Bayes learning rule) は自然段階的な変分推論法である。変動パラメータがオープンな制約セットにある場合、ルールは制約を満たすことができず、アルゴリズムを遅くする線探索を必要とする。我々の研究は、パラメータ空間における正定値制約の存在下での規則の適用を容易にする。
論文参考訳（メタデータ） (2020-02-24T03:29:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。