論文の概要: Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs

• arxiv url: http://arxiv.org/abs/2510.00419v1
• Date: Wed, 01 Oct 2025 02:01:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.330904
• Title: Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs
• Title（参考訳）: 微調整LDMのためのゼロ階最適化器の学習
• Authors: Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang,
• Abstract要約: 大規模言語モデルのための学習ベースゼロトオーダーであるZO Fine-tunerを提案する。 コンパクトでメモリ効率の良い設計により、効率的な摂動戦略を自動的に学習する。 実験の結果、ZOファインチューナーはタスクモデルの組み合わせの82.1%において、ゼロ階前のベースラインよりも優れていた。
• 参考スコア（独自算出の注目度）: 22.39397810186991
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zeroth-order optimizers have recently emerged as a practical approach for fine-tuning large language models (LLMs), significantly reducing GPU memory consumption compared to traditional first-order methods. Yet, existing zeroth-order methods rely on hand-crafted, static sampling strategies that are not adaptable to model-specific structures. To address this, we propose ZO Fine-tuner, a learning-based zeroth-order optimizer for LLMs that automatically learns efficient perturbation strategies through a compact and memory-efficient design. Crucially, our approach is motivated by the observation that only a small number of foundation models and their derivatives are widely adopted in practice. Therefore, learning the optimizer once for a given LLM and reusing it across diverse downstream tasks is both feasible and highly desirable. Accordingly, ZO Fine-tuner is designed to scale learning to learn (L2L) to the foundation-model era by supporting one-time training per LLM with minimal overhead. Experiments on 4 LLMs and 7 datasets show that ZO Fine-tuner outperforms prior zeroth-order baselines in 82.1\% of task-model combinations, thereby demonstrating strong performance and scalability for efficient LLM fine-tuning. Our code is available at https://github.com/ASTRAL-Group/ZO_Fine_tuner.git.
• Abstract（参考訳）: ゼロオーダーオプティマイザは、最近、大規模言語モデル(LLM)を微調整する実用的なアプローチとして登場し、従来の一階法と比較してGPUメモリの消費を著しく削減している。 しかし、既存のゼロ階法は、モデル固有の構造に適応できない手作りの静的サンプリング戦略に依存している。 そこで本研究では,高速な摂動戦略を自動的に学習する学習型ゼロ階最適化システムZO Fine-tunerを提案する。 重要なことに、我々のアプローチは、少数の基礎モデルとその誘導体のみが実際に広く採用されているという観察によって動機づけられている。 したがって、与えられたLLMに対して一度オプティマイザを学習し、様々な下流タスクで再利用することは可能であり、非常に望ましい。 そのため、ZO Fine-tunerは、LLM当たりのワンタイムトレーニングを最小限のオーバーヘッドでサポートすることにより、基礎モデル時代の学習(L2L)をスケールするように設計されている。 4つのLLMと7つのデータセットの実験により、ZOファインチューナーはタスクモデルの組み合わせの82.1\%でゼロ階前のベースラインよりも優れており、効率的なLLMファインチューニングのための強力な性能とスケーラビリティを示している。 私たちのコードはhttps://github.com/ASTRAL-Group/ZO_Fine_tuner.gitで公開されています。

関連論文リスト

• Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement Learning [16.095629872564874]
  強化学習はおそらく最も顕著な微調整法である。 進化戦略(ES)はかつて、数百万のパラメータを持つモデルでRLに匹敵する性能を示した。 ESは数十億のパラメータを効率的に探索し、既存のRLファインチューニング手法より優れている。
  論文  参考訳（メタデータ） (2025-09-29T07:19:34Z)
• Visualising Policy-Reward Interplay to Inform Zeroth-Order Preference Optimisation of Large Language Models [0.36326779753373206]
  Zeroth-Order (ZO) 最適化では、勾配の代わりに関数評価を使用し、メモリ使用量を削減しているが、高次元モデルでは緩やかな収束に悩まされている。 ZOPrOは、大規模言語モデルにおける優先度最適化のために設計された新しいZOアルゴリズムである。 本手法は,一階法に匹敵する収束時間を実現しつつ,報酬信号の連続的な向上を実証する。
  論文  参考訳（メタデータ） (2025-03-05T12:49:48Z)
• Bilevel ZOFO: Bridging Parameter-Efficient and Zeroth-Order Techniques for Efficient LLM Fine-Tuning and Meta-Training [44.48966200270378]
  First-Order (FO)imats を用いた下流タスクのための微調整済みのLarge Language Model (LLMs) は、重要な計算課題を示す。 本稿では,ZO法をPEFTで補完し,ハードプロンプトに対する感度を緩和する二段階最適化フレームワークを提案する。 我々のBilevel ZOFO法では,PEFTモデルの勾配とベースモデルの前方通過のみを必要とする二重ループ最適化方式を採用している。
  論文  参考訳（メタデータ） (2025-02-05T20:47:44Z)
• When Do LLMs Help With Node Classification? A Comprehensive Analysis [21.120619437937382]
  我々はLarge Language Models (LLMs) を用いたノード分類のための包括的でテストベッドを開発する。 10のホモ親和性データセット、4つのヘテロ親和性データセット、8つのLLMアルゴリズム、8つの古典的ベースライン、3つの学習パラダイムを含む。 その結果,(1) LLMに基づく手法は, 半教師付き環境では従来手法よりも優れているが, 教師付き環境では優位性が低い, という8つの知見が得られた。
  論文  参考訳（メタデータ） (2025-02-02T15:56:05Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。