論文の概要: Subspace Levenberg Marquardt Algorithms in Training Neural Networks

• arxiv url: http://arxiv.org/abs/2609.00789v1
• Date: Tue, 01 Sep 2026 06:37:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.419068
• Title: Subspace Levenberg Marquardt Algorithms in Training Neural Networks
• Title（参考訳）: Subspace Levenberg Marquardt Algorithms in Training Neural Networks
• Authors: M. Duc Hoang,
• Abstract要約: ニューラルネットワークにおける回帰および分類タスクに対する部分空間Levanz-Marquardtアルゴリズムの評価を行った。 部分空間 LM 変種と古典的 LM 法,および他の一般的な一階法との比較を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Levenberg-Marquardt (LM) algorithm is a well-known second-order method for rapid convergence and strong robustness when training small- to medium-sized neural networks (NNs). However, its computational and memory costs increase significantly as the number of parameters in an NN grows. To address this limitation, subspace methods have been proposed, such as the Krylov subspace LM (KSLM) and the hybrid subspace LM (HSLM), making second-order algorithms more efficient. In this work, we evaluate the subspace Levenberg-Marquardt algorithms for regression and classification tasks in neural networks. We compare the performance of subspace LM variants with the classical LM method, as well as other popular first-order algorithms, such as stochastic gradient descent (SGD) and Adam.
• Abstract（参考訳）: Levenberg-Marquardtアルゴリズム(英: Levenberg-Marquardt algorithm、LM)は、小型から中規模のニューラルネットワーク(NN)を訓練する際の、高速収束と強靭性のためのよく知られた2階法である。 しかし、NNのパラメータ数が増加するにつれて、計算とメモリのコストは大幅に増大する。 この制限に対処するため、Krylov subspace LM (KSLM)やHybrid subspace LM (HSLM)のような部分空間法が提案されており、二階アルゴリズムをより効率的にしている。 本研究では,ニューラルネットワークにおける回帰および分類タスクに対する部分空間レバンス・マルカートアルゴリズムの評価を行う。 本稿では,従来のLM法と,確率勾配勾配(SGD)やAdamといった他の一般的な一階法との比較を行った。

関連論文リスト

• Adaptive Hybrid Subspace Levenberg Marquardt Algorithm with Adequacy Monitor for Large Scale Least Squares Problems [0.0]
  Levenberg-Marquardt (LM) アルゴリズムは非線形最小二乗問題の解法として最も広く用いられている手法である。 低次元部分空間を構成する適応型ハイブリッド部分空間 Levenberg-Marquardt (HSLM) アルゴリズムを提案する。 HSLM は古典的およびクリロフ部分空間 LM (KSLM) に匹敵する収束挙動を達成し、計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2026-08-26T08:33:33Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Layer-wise Adaptive Step-Sizes for Stochastic First-Order Methods for Deep Learning [8.173034693197351]
  深層学習における一階最適化のための新しい階層ごとの適応的なステップサイズ手順を提案する。 提案手法は,ディープニューラルネットワーク(DNN)におけるヘシアン対角ブロックに含まれる層次曲率情報を用いて,各層に対する適応的なステップサイズ(LR)を算出する。 数値実験により、SGDの運動量とAdamWと、提案した層ごとのステップサイズを組み合わせることで、効率的なLRスケジュールを選択できることが示されている。
  論文  参考訳（メタデータ） (2023-05-23T04:12:55Z)
• Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
  本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。 具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。 提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
  論文  参考訳（メタデータ） (2023-03-10T07:42:49Z)
• Improving Levenberg-Marquardt Algorithm for Neural Networks [2.127049691404299]
  ニューラルネットワークにおける回帰(非線形最小二乗)および分類(一般化されたガウス・ニュートン法)タスクに対するレバンス・マルカルト(LM)アルゴリズムの利用について検討する。 LM法の性能を、SGDやAdamのような他の一般的な一階アルゴリズムや、L-BFGS、Hessian-Free、KFACといった他の二階アルゴリズムと比較する。
  論文  参考訳（メタデータ） (2022-12-17T00:36:46Z)
• Scalable Deep Reinforcement Learning Algorithms for Mean Field Games [60.550128966505625]
  平均フィールドゲーム (MFGs) は、非常に多くの戦略エージェントを持つゲームを効率的に近似するために導入された。 近年,モデルフリー強化学習(RL)手法を用いて,MFGの学習均衡の課題が活発化している。 MFGを解くための既存のアルゴリズムは戦略や$q$-valuesのような近似量の混合を必要とする。 本稿では,この欠点に対処する2つの手法を提案する。まず,歴史データの蒸留からニューラルネットワークへの混合戦略を学習し,Factitious Playアルゴリズムに適用する。 2つ目はオンライン混合方式である。
  論文  参考訳（メタデータ） (2022-03-22T18:10:32Z)
• Revisiting Recursive Least Squares for Training Deep Neural Networks [10.44340837533087]
  再帰最小二乗法(RLS)アルゴリズムは、その高速収束のため、かつては小規模ニューラルネットワークのトレーニングに広く用いられていた。 従来のRSSアルゴリズムは、計算複雑性が高く、事前条件が多すぎるため、ディープニューラルネットワーク(DNN)のトレーニングには適さない。 本稿では,フィードフォワードニューラルネットワーク,畳み込みニューラルネットワーク,リカレントニューラルネットワークの3つの新しいRSS最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-07T17:43:51Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。