論文の概要: Zero-Order Optimization for LLM Fine-Tuning via Learnable Direction Sampling

• arxiv url: http://arxiv.org/abs/2602.13659v1
• Date: Sat, 14 Feb 2026 08:01:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.319156
• Title: Zero-Order Optimization for LLM Fine-Tuning via Learnable Direction Sampling
• Title（参考訳）: 学習方向サンプリングによるLLMファインチューニングのゼロ次最適化
• Authors: Valery Parfenov, Grigoriy Evseev, Andrey Veprikov, Nikolay Bushkov, Stanislav Moiseev, Aleksandr Beznosikov,
• Abstract要約: 摂動方向のサンプリング分布を学習可能なポリシとして扱う政策駆動型ZOフレームワークを提案する。 学習したサンプリングは、品質勾配情報を改善し、$d$の収束境界への明示的な依存を緩和することを示す。 以上の結果から,適応方向サンプリングはZOの微調整を大規模に実現する上で有望な方法であることが示唆された。
• 参考スコア（独自算出の注目度）: 40.94400211806987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large pretrained language models (LLMs) is a cornerstone of modern NLP, yet its growing memory demands (driven by backpropagation and large optimizer States) limit deployment in resource-constrained settings. Zero-order (ZO) methods bypass backpropagation by estimating directional derivatives from forward evaluations, offering substantial memory savings. However, classical ZO estimators suffer from high variance and an adverse dependence on the parameter dimensionality $d$, which has constrained their use to low-dimensional problems. In this work, we propose a policy-driven ZO framework that treats the sampling distribution over perturbation directions as a learnable policy and updates it to reduce the variance of directional estimates. We develop a practical algorithm implementing this idea and provide a theoretical analysis, showing that learned sampling distributions improve the quality of gradient information and relax the explicit dependence on $d$ in convergence bounds. Empirically, we validate the approach on challenging LLM fine-tuning benchmarks, demonstrating substantially improved performance compared to standard ZO baselines. Our results suggest that adaptive direction sampling is a promising route to make ZO fine-tuning viable at scale. The source code is available at https://github.com/brain-lab-research/zo_ldsd
• Abstract（参考訳）: 微調整された大規模な事前学習言語モデル(LLM)は、現代のNLPの基盤であるが、その増大するメモリ要求(バックプロパゲーションと大きな最適化状態による)は、リソース制約された設定でのデプロイメントを制限する。 Zero-order (ZO)メソッドは、前方評価から指向性デリバティブを推定することでバックプロパゲーションを回避し、かなりのメモリ節約を提供する。 しかし、古典的ZO推定器は、高分散とパラメータ次元$d$への悪依存に悩まされ、低次元問題に対するそれらの使用を制限している。 本研究では,摂動方向のサンプリング分布を学習可能なポリシとして扱うポリシ駆動型ZOフレームワークを提案する。 本研究では,この概念を実装した実用的なアルゴリズムを開発し,学習したサンプリング分布が勾配情報の品質を改善し,収束境界における$d$の明示的依存を緩和することを示す。 実験により,LLM微調整ベンチマークに対するアプローチを検証し,標準ZOベースラインに比べて性能が大幅に向上したことを示す。 以上の結果から,適応方向サンプリングはZOの微調整を大規模に実現する上で有望な方法であることが示唆された。 ソースコードはhttps://github.com/brain-lab-research/zo_ldsdで入手できる。

関連論文リスト

• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• Leveraging Coordinate Momentum in SignSGD and Muon: Memory-Optimized Zero-Order [39.25335214877435]
  ダウンストリームタスクに事前訓練されたモデルを適用するには、微調整大型言語モデル(LLM)が不可欠である。 従来の一階述語アルゴリズムは、モデルサイズであまりスケールしない、禁止的なメモリと計算コストを発生させる。 メモリと計算効率の代替としてゼロオーダー(ZO)最適化法を提案する。
  論文  参考訳（メタデータ） (2025-06-04T20:27:17Z)
• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。