論文の概要: Low-Rank Curvature for Zeroth-Order Optimization in LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2511.07971v1
• Date: Wed, 12 Nov 2025 01:31:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.572078
• Title: Low-Rank Curvature for Zeroth-Order Optimization in LLM Fine-Tuning
• Title（参考訳）: LLMファインチューニングにおけるゼロ階最適化のための低ランク曲率
• Authors: Hyunseok Seung, Jaewoo Lee, Hyunsuk Ko,
• Abstract要約: LOREN (curvature-aware zeroth-order (ZO) optimization method for fine-tuning large language model (LLMs)) を紹介する。 乱摂動を用いた有限差分による勾配推定を行う既存のZO法は、しばしば高いばらつきと準最適探索方向に悩まされる。 i) 勾配推定のための異方性摂動分布を適応的に推定し, (ii) 低ランクブロック対角前処理器で曲率を計測し, (iii) ばらつきを抑えるためにREINFORCEスタンス・ワン・アウト(RLOO) 勾配推定器を適用することにより, これらの課題に対処する。
• 参考スコア（独自算出の注目度）: 8.349781300731225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce LOREN, a curvature-aware zeroth-order (ZO) optimization method for fine-tuning large language models (LLMs). Existing ZO methods, which estimate gradients via finite differences using random perturbations, often suffer from high variance and suboptimal search directions. Our approach addresses these challenges by: (i) reformulating the problem of gradient preconditioning as that of adaptively estimating an anisotropic perturbation distribution for gradient estimation, (ii) capturing curvature through a low-rank block diagonal preconditioner using the framework of natural evolution strategies, and (iii) applying a REINFORCE leave-one-out (RLOO) gradient estimator to reduce variance. Experiments on standard LLM benchmarks show that our method outperforms state-of-the-art ZO methods by achieving higher accuracy and faster convergence, while cutting peak memory usage by up to 27.3% compared with MeZO-Adam.
• Abstract（参考訳）: LOREN (curvature-aware zeroth-order (ZO) optimization method for fine-tuning large language model (LLMs)。 乱摂動を用いた有限差分による勾配推定を行う既存のZO法は、しばしば高いばらつきと準最適探索方向に悩まされる。 私たちのアプローチは、以下の課題に対処します。 一 勾配推定のための異方性摂動分布を適応的に推定する勾配事前条件の問題を修正すること。 二 自然進化戦略の枠組みを用いた低ランクブロック対角前処理器による曲率の捕捉 三 分散を低減するため、RLOO(ReINFORCE leave-out-out)勾配推定器を適用すること。 標準LLMベンチマーク実験により, ピークメモリ使用率を最大27.3%削減しつつ, 高精度かつ高速な収束を実現し, 最先端のZO法よりも優れた性能を示した。

関連論文リスト

• Tuning-Free Sampling via Optimization on the Space of Probability Measures [14.429970585649945]
  Wasserstein勾配流の時間離散化として得られた勾配に基づくサンプリングアルゴリズムのチューニング不要サンプリングアルゴリズム 特に、最適に調整されたアルゴリズムの収束率を対数係数まで回復する。 様々なタスクにまたがって、我々のアルゴリズムは、ステップサイズパラメータをチューニングすることなく、既存のアルゴリズムの最適性能と同じような性能を達成する。
  論文  参考訳（メタデータ） (2025-10-29T09:29:39Z)
• Towards Fast LLM Fine-tuning through Zeroth-Order Optimization with Projected Gradient-Aligned Perturbations [23.409093103129706]
  ゼロ階数最適化(ZO)を用いた細調整大型言語モデル(LLM)が,従来の勾配法に代わる有望な代替手段として登場した。 既存のZO法は勾配推定のばらつきに悩まされ、大規模なモデルでは収束が遅く、最適以下の性能が低下する。 本稿では,P-GAPを提案する。
  論文  参考訳（メタデータ） (2025-10-21T02:19:11Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Signal Processing Meets SGD: From Momentum to Filter [6.751292200515355]
  ディープラーニングでは、勾配降下(SGD)とその運動量に基づく変種が最適化に広く利用されている。 本稿では,信号処理レンズを用いて勾配挙動を解析し,更新に影響を与える重要な要因を分離する。 本稿では,ワイナーフィルタの原理に基づく新しいSGDF手法を提案する。
  論文  参考訳（メタデータ） (2023-11-06T01:41:46Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。