Fugu-MT 論文翻訳(概要): ISAAC Newton: Input-based Approximate Curvature for Newton's Method

論文の概要: ISAAC Newton: Input-based Approximate Curvature for Newton's Method

arxiv url: http://arxiv.org/abs/2305.00604v1
Date: Mon, 1 May 2023 00:00:04 GMT
ステータス: 処理完了
システム内更新日: 2023-05-02 14:17:28.970458
Title: ISAAC Newton: Input-based Approximate Curvature for Newton's Method
Title（参考訳）: ISAACニュートン:ニュートン法における入力型近似曲線
Authors: Felix Petersen, Tobias Sutter, Christian Borgelt, Dongsung Huh, Hilde Kuehne, Yuekai Sun, Oliver Deussen
Abstract要約: 本稿では,選択した2次情報を用いて勾配を規定する新しい手法ISAACを提案する。本研究では,各層への入力のみに基づいて,計算オーバーヘッドを伴わずに良好な条件を計算可能であることを示す。
参考スコア（独自算出の注目度）: 43.62131887251156
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present ISAAC (Input-baSed ApproximAte Curvature), a novel method that conditions the gradient using selected second-order information and has an asymptotically vanishing computational overhead, assuming a batch size smaller than the number of neurons. We show that it is possible to compute a good conditioner based on only the input to a respective layer without a substantial computational overhead. The proposed method allows effective training even in small-batch stochastic regimes, which makes it competitive to first-order as well as second-order methods.
Abstract（参考訳）: 本稿では、選択した2次情報を用いて勾配を定め、ニューロン数より小さいバッチサイズを仮定して、漸近的に計算オーバーヘッドを消失させるISAAC(Input-based ApproximAte Curvature)を提案する。本研究では,各層への入力のみに基づいて,計算オーバーヘッドを伴わずに良好な条件を計算可能であることを示す。提案手法は,小バッチ確率システムにおいても効果的なトレーニングが可能であり,二階法と同様に一階法と競合する。

関連論文リスト

Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
論文参考訳（メタデータ） (2023-01-30T15:46:39Z)
Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文参考訳（メタデータ） (2022-02-26T19:10:48Z)
A Mini-Block Natural Gradient Method for Deep Neural Networks [12.48022619079224]
我々は、近似自然勾配法、ミニブロックフィッシャー(MBF)の収束性を提案し、解析する。提案手法では,一般化の並列性を利用して,各層内の多数の行列を効率的に処理する。
論文参考訳（メタデータ） (2022-02-08T20:01:48Z)
Nys-Curve: Nystr\"om-Approximated Curvature for Stochastic Optimization [20.189732632410024]
準ニュートン法は, セカント方程式を用いてヘッセンを近似することにより曲率情報を提供する。線形収束率を持つ凸関数の大規模な経験的リスクに対するニュートンステップに基づくDP最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-10-16T14:04:51Z)
Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
論文参考訳（メタデータ） (2021-07-15T17:33:05Z)
A Scalable Second Order Method for Ill-Conditioned Matrix Completion from Few Samples [0.0]
低ランク行列補完のための反復アルゴリズムを提案する。ほとんどサンプルから最大10ドルの条件数で、非常に不調な行列を完遂することができる。
論文参考訳（メタデータ） (2021-06-03T20:31:00Z)
Second-order Neural Network Training Using Complex-step Directional Derivative [41.4333906662624]
本稿では,2次ニューラルネットワークトレーニングのための数値アルゴリズムを提案する。複素ステップ有限差分を用いてヘッセン計算の実践的障害に取り組む。提案手法は,ディープラーニングと数値最適化のための新しいアルゴリズムを広範囲に導入すると考えられる。
論文参考訳（メタデータ） (2020-09-15T13:46:57Z)
Escaping Saddle Points in Ill-Conditioned Matrix Completion with a Scalable Second Order Method [0.0]
低ランク行列に対する反復アルゴリズムを提案する。多くの最先端の手法とは異なり、我々の手法は少数のサンプルから最大10ドルの条件数で非常に不調な条件を満たすことができることを示す数値実験で示している。
論文参考訳（メタデータ） (2020-09-07T06:51:20Z)
Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。本研究の結果は, 同時一次および二重側収束の形で表される。
論文参考訳（メタデータ） (2020-08-23T20:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。