論文の概要: Scalable Levenberg-Marquardt Training Framework for Deep Learning

• arxiv url: http://arxiv.org/abs/2610.22925v1
• Date: Fri, 16 Oct 2026 04:41:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.765645
• Title: Scalable Levenberg-Marquardt Training Framework for Deep Learning
• Title（参考訳）: ディープラーニングのためのスケーラブルなLevenberg-Marquardtトレーニングフレームワーク
• Abstract要約: Levenberg-Marquardt (LMA) アルゴリズムは、その高速収束で広く使われている非線形最小二乗解法である。 小規模なニューラルネットワークでは、LMAはAdamのような一階解法よりも収束性とアーキテクチャの堅牢性が高い。 マルチGPUプラットフォーム上での大規模ニューラルネットワークトレーニングのための分散LMAアルゴリズムLeMAを提案する。
• 参考スコア（独自算出の注目度）: 0.04369550829556578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Levenberg-Marquardt (LMA) algorithm is a widely used nonlinear least-squares solver known for its rapid convergence. For small-scale neural networks, LMA provides better convergence and architectural robustness than first-order optimizers like Adam. However, LMA imposes prohibitive memory and computational costs. These costs are primarily from the Jacobian matrix, whose dimensions scale with both the number of samples and parameters. This bottleneck prevents its use in large-scale neural networks. Recent efforts scale LMA using preconditioned conjugate gradient (PCG) solvers to avoid materializing the Jacobian. However, PCG only approximates the solution, requiring many network propagations and a task-specific preconditioner. Other studies optimize LMA to reduce costs, but they restrict their methods to specific tasks or network architectures. As a result, LMA remains impractical for training general large-scale neural networks. In this paper, we propose LeMA, a distributed LMA algorithm for large-scale neural network training on multi-GPU platforms. Our contributions are twofold: First, an exact dual formulation of LMA removes the memory dependence on the parameter dimension. Second, a Jacobian sharding strategy computes Jacobian shards on the fly and in parallel to avoid materializing the full Jacobian. For large-scale neural networks, LeMA reduces the memory footprint of LMA from quadratic in the number of parameters to quadratic in the batch size. This makes exact LMA steps feasible for billion-parameter models without approximate PCG solves. Furthermore, for a convolutional neural network with 1,000,022,632 parameters on an 8-GPU node, LeMA achieves a 7.97x speedup over a single GPU, corresponding to a 99.7% strong scaling efficiency.
• Abstract（参考訳）: Levenberg-Marquardt (LMA) アルゴリズムは、その高速収束で広く使われている非線形最小二乗解法である。 小規模なニューラルネットワークでは、LMAはAdamのような一階最適化よりも収束性とアーキテクチャの堅牢性が高い。 しかし、LMAはメモリの禁止と計算コストを課している。 これらのコストは主にジャコビアン行列からのものであり、その次元はサンプル数とパラメータ数の両方でスケールする。 このボトルネックは、大規模なニューラルネットワークでの使用を妨げる。 予条件共役勾配 (PCG) ソルバを用いて, ヤコビアンを物質化しないようにLMAをスケールする最近の試み。 しかし、PCGはソリューションを近似するだけで、多くのネットワーク伝搬とタスク固有のプリコンディショナーを必要とする。 コスト削減のためにLMAを最適化する研究もあるが、それらの手法は特定のタスクやネットワークアーキテクチャに制限されている。 結果として、LMAは一般的な大規模ニューラルネットワークのトレーニングには実用的ではない。 本稿では,マルチGPUプラットフォーム上での大規模ニューラルネットワークトレーニングのための分散LMAアルゴリズムLeMAを提案する。 第一に、LMAの正確な二重定式化は、パラメータ次元のメモリ依存を取り除く。 第二に、ジャコビアンシャーディング戦略は、全ヤコビアンを物質化するのを避けるために、ハエと平行にジャコビアンシャードを計算する。 大規模ニューラルネットワークでは、LMAのメモリフットプリントをパラメータの2乗からバッチサイズ2乗に削減する。 これにより、PCGを近似しない10億パラメータモデルで正確なLMAステップを実現することができる。 さらに、8-GPUノードに1000,022,632パラメータを持つ畳み込みニューラルネットワークでは、LeMAは1つのGPU上で7.97倍のスピードアップを達成する。

関連論文リスト

• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Two Sparse Matrices are Better than One: Sparsifying Neural Networks with Double Sparse Factorization [0.0]
  重み行列を2つのスパース行列に分解するDouble Sparse Factorization(DSF)を提案する。 提案手法は最先端の結果を達成し,従来のニューラルネットワークのスペーサー化を可能にした。
  論文  参考訳（メタデータ） (2024-09-27T15:48:39Z)
• ShiftAddLLM: Accelerating Pretrained LLMs via Post-Training Multiplication-Less Reparameterization [13.622268474310918]
  ShiftAddLLMは大規模言語モデルの効率的な乗算自由モデルである。 5.6および22.7ポイントのパープレキシティ改善を同等または低いレイテンシで達成する。 5つのLLMファミリーと8つのタスクの実験は、ShiftAddLLMの有効性を一貫して検証している。
  論文  参考訳（メタデータ） (2024-06-10T02:47:55Z)
• A GPU-Accelerated Bi-linear ADMM Algorithm for Distributed Sparse Machine Learning [4.258375398293221]
  Bi-cADMMは、計算ノードのネットワーク上で定義された大規模正規化されたスパース機械学習問題を解決することを目的としている。 Bi-cADMMはParallel Sparse Fitting Toolboxと呼ばれるオープンソースのPythonパッケージで実装されている。
  論文  参考訳（メタデータ） (2024-05-25T15:11:34Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)
• LQ-LoRA: Low-rank Plus Quantized Matrix Decomposition for Efficient Language Model Finetuning [66.85589263870702]
  提案手法では,事前学習した行列を高精度の低ランク成分とメモリ効率の量子化成分に分解するために反復アルゴリズムを用いる。 微調整されたRoBERTaとLLaMA-2の実験は、我々の低ランク+量子化行列分解法(LQ-LoRA)が強いQLoRAおよびGPTQ-LoRAベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2023-11-20T18:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。