論文の概要: CurvZO: Adaptive Curvature-Guided Sparse Zeroth-Order Optimization for Efficient LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2603.21725v1
• Date: Mon, 23 Mar 2026 09:13:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.584891
• Title: CurvZO: Adaptive Curvature-Guided Sparse Zeroth-Order Optimization for Efficient LLM Fine-Tuning
• Title（参考訳）: CurvZO:LLMファインチューニングのための適応曲率誘導スパースゼロ階最適化
• Authors: Shuo Wang, Ziyu Chen, Ming Tang,
• Abstract要約: バックプロパゲーションを備えた微調整の大型言語モデル(LLM)は高い性能を実現するが、かなりのメモリオーバーヘッドを引き起こす。 本稿では、スカラーZOフィードバックからオンラインの曲率信号を追跡するCurvZOを提案する。 CurvZOは微調整性能を継続的に改善し,ZOベースラインでのトレーニング時間を短縮することを示す。
• 参考スコア（独自算出の注目度）: 15.930478833291827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning large language models (LLMs) with backpropagation achieves high performance but incurs substantial memory overhead, limiting scalability on resource-constrained hardware. Zeroth-order (ZO) optimization provides a memory-efficient alternative by relying solely on forward passes, yet it typically suffers from slow or unstable convergence due to high-variance gradient estimates. Sparse ZO updates partially address this issue by perturbing only a subset of parameters, but their effectiveness hinges on selecting informative parameters, which is challenging in ZO optimization because each query yields only scalar feedback. We propose \textbf{Adaptive Curvature-Guided Sparse Zeroth-Order Optimization (CurvZO)}, which tracks curvature signals online from scalar ZO feedback and leverages these signals to construct a parameter-wise sampling distribution for selecting coordinates at each update, reducing the variance of the sparse ZO gradient estimator. Moreover, CurvZO dynamically adapts the perturbation budget to the evolving curvature signal distribution, yielding sparse ZO updates that remain both focused and sufficiently exploratory. Extensive experiments on OPT and Llama across diverse NLP tasks show that CurvZO consistently improves fine-tuning performance and reduces training time over ZO baselines. It improves accuracy by up to 4.4 points and achieves up to a $2\times$ speedup, while preserving memory efficiency.
• Abstract（参考訳）: バックプロパゲーションを備えた微調整の大型言語モデル(LLM)は高い性能を実現するが、メモリオーバーヘッドが大きくなり、リソース制約のあるハードウェアのスケーラビリティが制限される。 ゼロ階数最適化(ZO)は、フォワードパスのみに依存するメモリ効率の代替手段を提供するが、高分散勾配推定のため、通常は遅いあるいは不安定な収束に悩まされる。 スパースZO更新は、パラメータのサブセットだけを摂動することでこの問題に部分的に対処するが、その効果は情報的パラメータの選択にかかっている。 本稿では、スカラーZOフィードバックからオンラインの曲率信号を追跡し、これらの信号を利用して各更新時に座標を選択するためのパラメータワイズサンプリング分布を構築し、スパースZO勾配推定器のばらつきを低減する。 さらに、CurvZOは摂動予算を進化する曲率信号の分布に動的に適応させ、焦点を絞ったまま十分に探索できるスパースZO更新を生成する。 多様なNLPタスクにわたるOPTとLlamaの大規模な実験により、CurvZOは微調整性能を一貫して改善し、ZOベースラインでのトレーニング時間を短縮することが示された。 最大4.4ポイントの精度向上を実現し、メモリ効率を保ちながら2ドル以上のスピードアップを実現している。

関連論文リスト

• Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning [4.278794376089146]
  本稿では,事前インフォームド摂動を組み込んだプラグアンドプレイ手法を提案する。 本手法は標準ZO法と比較して収束を著しく加速する。 勾配推定器が真の勾配方向とより強く一致することを証明する。
  論文  参考訳（メタデータ） (2026-01-08T08:27:15Z)
• KerZOO: Kernel Function Informed Zeroth-Order Optimization for Accurate and Accelerated LLM Fine-Tuning [15.81250204481401]
  本稿では,勾配推定バイアスの軽減を目的としたカーネル関数ベースのZOフレームワークを提案する。 KerZOOは既存のZOベースラインと同等または優れたパフォーマンスを実現している。 本稿では,カーネル関数がZO法における推定バイアスの低減に有効な方法であることを示す。
  論文  参考訳（メタデータ） (2025-05-24T21:56:03Z)
• Harmony in Divergence: Towards Fast, Accurate, and Memory-efficient Zeroth-order LLM Fine-tuning [44.907586955452295]
  大規模言語モデル(LLM)は様々なタスクにまたがるが、標準的な一階述語(FO)の微調整にはかなりのメモリを必要とする。 近年、ゼロオーダー(ZO)最適化はメモリ効率のよいトレーニングパラダイムとして注目されている。 本稿では,FOおよびZO最適化の異なる更新パターンを明らかにするレイヤワイズ分散分析を提案する。 以上の結果から,DiZOはスループットを犠牲にすることなく,コンバージェンスに必要なイテレーションを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2025-02-05T16:03:17Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models [33.911521719528686]
  微調整は、大きな言語モデルを下流タスクに適応させるには強力だが、多くの場合、大きなメモリ使用量をもたらす。 有望なアプローチはゼロ階勾配 (ZO) を使うことであり、これは第一階勾配 (FO) を置き換えると見積もられている。 本稿では,レイヤワイドスパース計算とメモリ効率の高いZO,LeZOを提案する。
  論文  参考訳（メタデータ） (2024-10-13T12:47:37Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。