論文の概要: SubZero+: Efficient Zeroth-Order LLM Fine-Tuning via Large Learning Rates

• arxiv url: http://arxiv.org/abs/2608.15665v1
• Date: Sun, 16 Aug 2026 10:13:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.380382
• Title: SubZero+: Efficient Zeroth-Order LLM Fine-Tuning via Large Learning Rates
• Title（参考訳）: SubZero+:大規模学習率による効率的なゼロオーダーLDMファインチューニング
• Abstract要約: SubZero+は改善されたSubZeroフレームワークで、3つの補完的な方法で安定性を改善する。 SubZero+ は、ZO ベースラインを一貫して上回り、安定した学習速度範囲を拡大し、メモリオーバーヘッドを最小限に抑えた一階法にギャップを狭めることを示す。
• 参考スコア（独自算出の注目度）: 25.09609527559127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zeroth-order (ZO) optimization enables backpropagation-free fine-tuning of large language models, but existing ZO methods suffer from high-variance gradient estimators, making convergence unstable and highly sensitive to learning rates. We propose SubZero+, an improved SubZero framework that improves stability in three complementary ways: (i) multi-query gradient estimation within layer-specific low-rank subspaces to reduce variance without exhibiting the multi-query paradox; (ii) a subspace Adam optimizer that performs adaptive updates using in-subspace multi-query gradient statistics; and (iii) a sign correction for QR-based subspace construction to ensure Haar-distributed projection matrices, eliminating implementation-dependent orientation ambiguity. Experiments on models from 1.3B to 32B across SuperGLUE, under both full-parameter tuning and LoRA, show that SubZero+ consistently outperforms prior ZO baselines, enlarges the stable learning-rate range, and narrows the gap to first-order methods with minimal extra memory overhead.
• Abstract（参考訳）: ゼロ次最適化(ZO)により、大きな言語モデルのバックプロパゲーションフリーな微調整が可能になるが、既存のZO法は高分散勾配推定器に悩まされ、収束が不安定で学習速度に非常に敏感になる。 改良されたSubZeroフレームワークであるSubZero+を提案する。 (i)多列パラドックスを示さずに分散を低減するため、層固有の低ランク部分空間内の多列勾配推定 (ii)サブスペースにおけるマルチクエリ勾配統計を用いた適応更新を行うサブスペースAdamオプティマイザ 三 QRベースの部分空間構成の符号補正により、Haar分布射影行列を確実にし、実装に依存した配向の曖昧さを解消する。 SuperGLUEの1.3Bから32Bまでのモデルで、フルパラメータチューニングとLoRAの両方の下で、SubZero+はZOベースラインを一貫して上回り、安定した学習速度の範囲を拡大し、メモリオーバーヘッドを最小限に抑えた1次メソッドにギャップを狭めることを示した。

関連論文リスト

• Adaptively Incorporating Directional Hints into Zeroth-Order Optimization [49.940317286021696]
  本研究では,非関数の次数ゼロの最適化を実現するアルゴリズムを開発した。 非制御タスクにおける持続的な進捗を示す手法を検証した。
  論文  参考訳（メタデータ） (2026-09-08T05:42:02Z)
• ZO-Act: Efficient Zeroth-Order Fine-Tuning via One-Shot Activation-Informed Low-Rank Subspaces [8.08601759467653]
  Zeroth-order (ZO) 最適化により、バックプロパゲーションが利用できない場合やメモリ制限の場合に、大きな言語モデルを微調整できる。 本稿では, アクティベーションインフォームドZOファインチューニング手法であるZO-Actを提案し, 摂動を固定された低ランク部分空間に制限する。 我々は、ZO-Actを制限係数空間上のゼロ階最適化として解析し、低次元係数の摂動がZO推定器の分散依存収束項と有限差分誤差の両方を減少させることを示す。
  論文  参考訳（メタデータ） (2026-07-01T16:12:50Z)
• SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
  Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。 完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。 本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-15T09:27:50Z)
• Denoising-GS: Gaussian Splatting with Spatial-aware Denoising [59.331050242447255]
  高忠実なノベルビュー合成(NVS)において、3Dガウススティング(3DGS)は顕著な成功を収めた 本稿では, 3DGS の最適化を原始的認知過程として定式化し, 新たな視点を導入する。 位置と空間構造を両立させることにより,プリミティブのコヒーレントなデノナイジングフレームワークであるDenoising-GSを提案する。 3つのベンチマークデータセットで実施された実験により、Denoising-GSは表現のコンパクト性を維持しながら、NVSの忠実度を一貫して向上することを示した。
  論文  参考訳（メタデータ） (2026-05-14T14:24:21Z)
• Powering Up Zeroth-Order Training via Subspace Gradient Orthogonalization [40.95701844244596]
  2つの相補的原理を統一することにより、ZO最適化を大幅に改善できることを示す。 我々は、ZO設定において、自然解釈を低ランクのミューオンとして認める新しい方法、ZO-ムオンをインスタンス化する。
  論文  参考訳（メタデータ） (2026-02-19T08:08:33Z)
• Robust and Efficient Zeroth-Order LLM Fine-Tuning via Adaptive Bayesian Subspace Optimizer [4.6561758107970395]
  ゼロオーダー (ZO) 最適化による微調整大型言語モデル (LLM) は,関数評価による勾配の近似によりメモリ削減を行う。 適応型textbfBayesian textbfSubspace textbfZeroth-Order textbfOptimizer について紹介する。
  論文  参考訳（メタデータ） (2026-01-04T09:35:11Z)
• Low-Rank Curvature for Zeroth-Order Optimization in LLM Fine-Tuning [8.349781300731225]
  LOREN (curvature-aware zeroth-order (ZO) optimization method for fine-tuning large language model (LLMs)) を紹介する。 乱摂動を用いた有限差分による勾配推定を行う既存のZO法は、しばしば高いばらつきと準最適探索方向に悩まされる。 i) 勾配推定のための異方性摂動分布を適応的に推定し, (ii) 低ランクブロック対角前処理器で曲率を計測し, (iii) ばらつきを抑えるためにREINFORCEスタンス・ワン・アウト(RLOO) 勾配推定器を適用することにより, これらの課題に対処する。
  論文  参考訳（メタデータ） (2025-11-11T08:34:09Z)
• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• Breaking the Frozen Subspace: Importance Sampling for Low-Rank Optimization in LLM Pretraining [43.39070237124361]
  低ランク最適化は、大きな言語モデルのメモリ効率のトレーニングを可能にするための有望なアプローチである。 これらの手法の鍵となる課題は、効果的な軌道を確保するために適切な部分空間を選択することである。 本稿では,LLMプリトレーニングにおける低ランク最適化のための重要サンプリングについて提案する。
  論文  参考訳（メタデータ） (2025-02-09T06:30:19Z)
• TeZO: Empowering the Low-Rankness on the Temporal Dimension in the Zeroth-Order Optimization for Fine-tuning LLMs [58.19080159470868]
  モデルと時間次元の両方にわたって低ランク度をキャプチャする新しい低ランクZO推定器TeZOを提案する。 具体的には、時間次元に沿ったZO摂動を3次元テンソルとして表現し、Canonical Polyadic Decomposition (CPD)を用いて各低ランク2次元行列を抽出する。
  論文  参考訳（メタデータ） (2025-01-31T11:34:03Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。