Fugu-MT 論文翻訳(概要): Improving Levenberg-Marquardt Algorithm for Neural Networks

論文の概要: Improving Levenberg-Marquardt Algorithm for Neural Networks

arxiv url: http://arxiv.org/abs/2212.08769v1
Date: Sat, 17 Dec 2022 00:36:46 GMT
ステータス: 処理完了
システム内更新日: 2022-12-20 17:57:26.960811
Title: Improving Levenberg-Marquardt Algorithm for Neural Networks
Title（参考訳）: ニューラルネットワークのためのレバンス・マーカルトアルゴリズムの改良
Authors: Omead Pooladzandi, Yiming Zhou
Abstract要約: ニューラルネットワークにおける回帰(非線形最小二乗)および分類(一般化されたガウス・ニュートン法)タスクに対するレバンス・マルカルト(LM)アルゴリズムの利用について検討する。 LM法の性能を、SGDやAdamのような他の一般的な一階アルゴリズムや、L-BFGS、Hessian-Free、KFACといった他の二階アルゴリズムと比較する。
参考スコア（独自算出の注目度）: 2.127049691404299
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We explore the usage of the Levenberg-Marquardt (LM) algorithm for regression (non-linear least squares) and classification (generalized Gauss-Newton methods) tasks in neural networks. We compare the performance of the LM method with other popular first-order algorithms such as SGD and Adam, as well as other second-order algorithms such as L-BFGS , Hessian-Free and KFAC. We further speed up the LM method by using adaptive momentum, learning rate line search, and uphill step acceptance.
Abstract（参考訳）: ニューラルネットワークにおける回帰(非線形最小二乗)および分類(一般化されたガウス・ニュートン法)タスクに対するレバンス・マルカルトアルゴリズム(LM)の利用について検討する。 LM法の性能を、SGDやAdamのような他の一般的な一階アルゴリズムや、L-BFGS、Hessian-Free、KFACといった他の二階アルゴリズムと比較する。さらに,適応運動量,学習速度線探索,昇降段受入を用いて,LM法をさらに高速化する。

関連論文リスト

MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
Adam、Adam、およびそれらの変種のような大規模な勾配アルゴリズムは、この種のトレーニングの開発の中心となっている。本稿では,事前条件付き勾配最適化手法と,スケールドモーメント手法による分散低減を両立させる枠組みを提案する。
論文参考訳（メタデータ） (2024-11-15T18:57:39Z)
Layer-wise Adaptive Step-Sizes for Stochastic First-Order Methods for Deep Learning [8.173034693197351]
深層学習における一階最適化のための新しい階層ごとの適応的なステップサイズ手順を提案する。提案手法は,ディープニューラルネットワーク(DNN)におけるヘシアン対角ブロックに含まれる層次曲率情報を用いて,各層に対する適応的なステップサイズ(LR)を算出する。数値実験により、SGDの運動量とAdamWと、提案した層ごとのステップサイズを組み合わせることで、効率的なLRスケジュールを選択できることが示されている。
論文参考訳（メタデータ） (2023-05-23T04:12:55Z)
Online Learning Under A Separable Stochastic Approximation Framework [20.26530917721778]
分離可能な近似フレームワークを用いて,機械学習モデルのクラスに対するオンライン学習アルゴリズムを提案する。提案アルゴリズムは,他の一般的な学習アルゴリズムと比較して,より堅牢でテスト性能が高いことを示す。
論文参考訳（メタデータ） (2023-05-12T13:53:03Z)
Tree-Based Adaptive Model Learning [62.997667081978825]
我々はKearns-Vazirani学習アルゴリズムを拡張し、時間とともに変化するシステムを扱う。本稿では,学習前の動作を再利用し,更新し,LearnerLibライブラリに実装し,大規模な実例で評価する学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-08-31T21:24:22Z)
Scalable Deep Reinforcement Learning Algorithms for Mean Field Games [60.550128966505625]
平均フィールドゲーム (MFGs) は、非常に多くの戦略エージェントを持つゲームを効率的に近似するために導入された。近年,モデルフリー強化学習(RL)手法を用いて,MFGの学習均衡の課題が活発化している。 MFGを解くための既存のアルゴリズムは戦略や$q$-valuesのような近似量の混合を必要とする。本稿では,この欠点に対処する2つの手法を提案する。まず,歴史データの蒸留からニューラルネットワークへの混合戦略を学習し,Factitious Playアルゴリズムに適用する。 2つ目はオンライン混合方式である。
論文参考訳（メタデータ） (2022-03-22T18:10:32Z)
Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
論文参考訳（メタデータ） (2021-10-31T18:35:10Z)
Revisiting Recursive Least Squares for Training Deep Neural Networks [10.44340837533087]
再帰最小二乗法(RLS)アルゴリズムは、その高速収束のため、かつては小規模ニューラルネットワークのトレーニングに広く用いられていた。従来のRSSアルゴリズムは、計算複雑性が高く、事前条件が多すぎるため、ディープニューラルネットワーク(DNN)のトレーニングには適さない。本稿では,フィードフォワードニューラルネットワーク,畳み込みニューラルネットワーク,リカレントニューラルネットワークの3つの新しいRSS最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-09-07T17:43:51Z)
Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
論文参考訳（メタデータ） (2021-04-09T14:50:59Z)
Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文参考訳（メタデータ） (2021-01-08T18:55:07Z)
SMG: A Shuffling Gradient-Based Method with Momentum [25.389545522794172]
機械学習の最適化に広く使われている2つの先進的なアイデアを組み合わせる。我々はシャッフルに基づく新しいモーメント技術を開発した。私たちのテストでは、新しいアルゴリズムの性能が向上しました。
論文参考訳（メタデータ） (2020-11-24T04:12:35Z)
Stochastic Gradient Langevin Dynamics Algorithms with Adaptive Drifts [8.36840154574354]
そこで我々は, ドリフト関数を偏り, サドル点からの脱出を促進させ, バイアスを過去のサンプルの勾配に応じて適応的に調整する, 適応的勾配勾配連鎖モンテカルロ(SGMCMC)アルゴリズムを提案する。本稿では,提案アルゴリズムが既存のSGMCMCアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2020-09-20T22:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。