論文の概要: Zeroth-Order Fine-Tuning of LLMs in Learnable Low-Rank Subspaces

• arxiv url: http://arxiv.org/abs/2610.15225v1
• Date: Sat, 10 Oct 2026 23:33:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 02:01:55.586513
• Title: Zeroth-Order Fine-Tuning of LLMs in Learnable Low-Rank Subspaces
• Title（参考訳）: 学習可能な低ランク部分空間におけるLDMのゼロ次微調整
• Abstract要約: AdaSub-ZOは,学習可能な低ランク部分空間における,フォワードのみのファインチューニングフレームワークである。 AdaSub-ZOは、有限差分フィードバックから直接階層的射影行列を反復的に学習し、タスク認識下降方向を追跡する。 自然言語理解タスクの実験は、AdaSub-ZOが既存のZOベースラインを上回っていることを示している。
• 参考スコア（独自算出の注目度）: 9.859893936091813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zeroth-order (ZO) optimization enables memory-efficient fine-tuning of large language models (LLMs). However, ZO optimization suffers from high variance in high-dimensional parameter spaces. While recent methods restrict perturbations to random low-rank subspaces, these subspaces often misalign with task-specific descent directions. We propose AdaSub-ZO, a novel forward-only fine-tuning framework in learnable low-rank subspaces. Instead of relying on fixed random matrices, AdaSub-ZO iteratively learns layer-wise projection matrices directly from finite-difference feedback to track task-aware descent directions. Furthermore, AdaSub-ZO incorporates a subspace momentum acceleration mechanism to smooth noisy gradient estimates across evolving subspace bases. Extensive experiments on natural language understanding tasks demonstrate that AdaSub-ZO outperforms existing ZO baselines, substantially reducing gradient estimation variance and accelerating convergence.
• Abstract（参考訳）: Zeroth-order (ZO) 最適化により、大きな言語モデル(LLM)のメモリ効率の高い微調整が可能になる。 しかし、ZO最適化は高次元パラメータ空間の高分散に悩まされている。 最近の手法では摂動をランダムな低ランク部分空間に制限しているが、これらの部分空間はタスク固有の降下方向と誤解されることが多い。 AdaSub-ZOは,学習可能な低ランク部分空間における,フォワードのみのファインチューニングフレームワークである。 AdaSub-ZOは、固定されたランダム行列に頼る代わりに、有限差分フィードバックから直接レイヤーワイズプロジェクション行列を反復的に学習し、タスク認識の降下方向を追跡する。 さらに、AdaSub-ZOはサブスペース運動量加速機構を組み込んで、進化するサブスペースベース間のノイズ勾配推定を円滑に行う。 自然言語理解タスクに関する大規模な実験により、AdaSub-ZOは既存のZOベースラインより優れ、勾配推定のばらつきを著しく低減し、収束を加速することが示された。

関連論文リスト

• SubZero+: Efficient Zeroth-Order LLM Fine-Tuning via Large Learning Rates [25.09609527559127]
  SubZero+は改善されたSubZeroフレームワークで、3つの補完的な方法で安定性を改善する。 SubZero+ は、ZO ベースラインを一貫して上回り、安定した学習速度範囲を拡大し、メモリオーバーヘッドを最小限に抑えた一階法にギャップを狭めることを示す。
  論文  参考訳（メタデータ） (2026-08-16T10:13:25Z)
• ZO-Act: Efficient Zeroth-Order Fine-Tuning via One-Shot Activation-Informed Low-Rank Subspaces [8.08601759467653]
  Zeroth-order (ZO) 最適化により、バックプロパゲーションが利用できない場合やメモリ制限の場合に、大きな言語モデルを微調整できる。 本稿では, アクティベーションインフォームドZOファインチューニング手法であるZO-Actを提案し, 摂動を固定された低ランク部分空間に制限する。 我々は、ZO-Actを制限係数空間上のゼロ階最適化として解析し、低次元係数の摂動がZO推定器の分散依存収束項と有限差分誤差の両方を減少させることを示す。
  論文  参考訳（メタデータ） (2026-07-01T16:12:50Z)
• SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
  Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。 完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。 本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-15T09:27:50Z)
• AGZO: Activation-Guided Zeroth-Order Optimization for LLM Fine-Tuning [8.698253005940503]
  アクティベーション誘導ゼロ階最適化(AGZO)を提案する。 従来の方法とは異なり、AGZOは前方通過中にフライ上のコンパクトな活性化インフォームド部分空間を抽出し、この低ランク部分空間に摂動を制限する。 AGZOは、最先端のZOベースラインを一貫して上回り、一階ファインチューニングによるパフォーマンスギャップを著しく狭めている。
  論文  参考訳（メタデータ） (2026-01-24T02:28:15Z)
• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• Breaking the Frozen Subspace: Importance Sampling for Low-Rank Optimization in LLM Pretraining [43.39070237124361]
  低ランク最適化は、大きな言語モデルのメモリ効率のトレーニングを可能にするための有望なアプローチである。 これらの手法の鍵となる課題は、効果的な軌道を確保するために適切な部分空間を選択することである。 本稿では,LLMプリトレーニングにおける低ランク最適化のための重要サンプリングについて提案する。
  論文  参考訳（メタデータ） (2025-02-09T06:30:19Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。