論文の概要: StructZO: Structured Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning
- arxiv url: http://arxiv.org/abs/2610.16451v1
- Date: Mon, 12 Oct 2026 09:16:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.343935
- Title: StructZO: Structured Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning
- Title（参考訳）: StructZO: メモリ効率の良いLLMファインチューニングのための構造化ゼロ階最適化
- Abstract要約: StructZOは、メモリ効率の良い微調整のための構造化ゼロ階最適化フレームワークである。
StructZOはZOベースラインを平均8.7%、個別タスクで最大26.9%改善している。
これらの結果から,ZO と FO 最適化のギャップは,構造化およびスペクトル制御されたZO 更新によって著しく狭まることが示唆された。
- 参考スコア（独自算出の注目度）: 51.80103056601843
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning large language models at scale is increasingly limited by the memory cost of backpropagation. Zeroth-Order (ZO) optimizers reduce this burden by relying only on forward function evaluations, but they still exhibit a substantial performance gap to first-order (FO) optimizers such as Adam. We argue that this gap does not arise solely from the absence of explicit gradients: FO fine-tuning also benefits from informative low-rank optimization geometry, large-scale signal aggregation, and well-conditioned update directions. Motivated by this, we introduce StructZO, a structured Zeroth-Order optimization framework for memory-efficient LLM fine-tuning. StructZO performs large-query ZO estimation within an activation-induced informative subspace and applies spectral control to the resulting reduced-space update before mapping it back to the original parameters. This lets ZO aggregate useful directional signals in a compact, geometry-aware space while avoiding the activation and optimizer-state memory costs of backpropagation. We show theoretically that, when the induced subspace captures concentrated optimization-relevant directions, StructZO reduces the effective ZO estimation dimension from $mn$ to $mr$, with the remaining projection error governed by the spectral tail of the activation Gram matrix. Empirically, across OPT-series and Llama3.1-8B on diverse downstreamtasks, StructZO improves over the strongest existing ZO baselines by up to $8.7%$ relative on average and up to $26.9%$ relative on individual tasks, while remaining within $1.5%$ of FO-Adam on average. These results suggest that structured and spectrally controlled ZO updates can substantially narrow the gap between ZO and FO optimization.
- Abstract（参考訳）: 大規模に調整された大きな言語モデルは、バックプロパゲーションのメモリコストによってますます制限されている。
Zeroth-Order(ZO)オプティマイザは、フォワード関数評価のみに依存することで、この負担を軽減するが、Adamのようなファーストオーダー(FO)オプティマイザには、依然としてかなりのパフォーマンスギャップがある。
FOファインタニングは、情報的低ランク最適化、大規模信号集約、良質な更新方向の利点もある。
そこで我々は,メモリ効率の良いLCMファインチューニングのための構造化ゼロ階最適化フレームワークであるStructZOを紹介した。
StructZOは、アクティベーションによって誘導される情報サブ空間内で大規模なZO推定を行い、元のパラメータにマッピングする前に、その結果の縮小スペース更新にスペクトル制御を適用する。
これにより、ZOは、バックプロパゲーションのアクティベーションとオプティマイザ状態のメモリコストを回避しつつ、コンパクトで幾何対応の空間で有用な方向信号を集約することができる。
帰納的部分空間が集中的最適化関連方向を捉えると、StructZOは活性化グラム行列のスペクトルテールに支配される残りの射影誤差で、有効ZO推定次元を$mn$から$mr$に下げる。
OPTシリーズとLlama3.1-8Bの様々なダウンストリームタスクにおいて、StructZOは最強のZOベースラインを平均で最大8.7%、個別タスクで最大26.9%、平均で1.5%以下に改善している。
これらの結果から,ZO と FO 最適化のギャップは,構造化およびスペクトル制御されたZO 更新によって著しく狭まることが示唆された。
関連論文リスト
- Harmony in Divergence: Towards Fast, Accurate, and Memory-efficient Zeroth-order LLM Fine-tuning [44.907586955452295]
大規模言語モデル(LLM)は様々なタスクにまたがるが、標準的な一階述語(FO)の微調整にはかなりのメモリを必要とする。
近年、ゼロオーダー(ZO)最適化はメモリ効率のよいトレーニングパラダイムとして注目されている。
本稿では,FOおよびZO最適化の異なる更新パターンを明らかにするレイヤワイズ分散分析を提案する。
以上の結果から,DiZOはスループットを犠牲にすることなく,コンバージェンスに必要なイテレーションを大幅に削減できることが示された。
論文 参考訳（メタデータ） (2025-02-05T16:03:17Z) - Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。
Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。
本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
論文 参考訳（メタデータ） (2024-10-11T17:01:43Z) - Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures [21.18741772731095]
ゼロ階数(ZO)アルゴリズムは、関数値の有限差を用いて勾配を近似することで、有望な代替手段を提供する。
既存のZO法は、LLM微調整で一般的な低ランク勾配構造を捉えるのに苦労し、準最適性能をもたらす。
本稿では,LLMにおけるこの構造を効果的に捕捉する低ランクZOアルゴリズム(LOZO)を提案する。
論文 参考訳（メタデータ） (2024-10-10T08:10:53Z) - AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。
AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
論文 参考訳（メタデータ） (2023-10-16T09:04:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。