論文の概要: AIM-ZO: Activation-Informed Subspace Maintenance for Zeroth-Order LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2609.35257v1
• Date: Mon, 28 Sep 2026 14:20:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 07:12:15.819377
• Title: AIM-ZO: Activation-Informed Subspace Maintenance for Zeroth-Order LLM Fine-Tuning
• Title（参考訳）: AIM-ZO:ゼロ次LDMファインチューニングのための活性化インフォームドサブスペースメンテナンス
• Abstract要約: 本稿では,アクティベーションインフォームドサブスペースメンテナンスに基づくZOファインチューニング手法であるAIM-ZOを提案する。 5つのLLMおよび11の下流タスクを対象としたAIM-ZOの評価を行った。
• 参考スコア（独自算出の注目度）: 19.678700409140152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zeroth-order (ZO) optimization offers a memory-efficient alternative for LLM fine-tuning by estimating updates only from forward evaluations of perturbed parameters, without backpropagation or activation storage. However, in billion-parameter LLMs, isotropic perturbations often waste many forward evaluations on weakly informative directions. To make these evaluations more informative, existing ZO methods restrict perturbations to low-dimensional subspaces. Yet the quality of these subspaces is critical: overly compressed or poorly maintained spaces can miss useful update directions. To obtain a high-quality subspace for ZO updates, this paper proposes AIM-ZO, a ZO fine-tuning method based on Activation-Informed Subspace Maintenance. AIM-ZO uses forward activations as local directional information and continuously integrates them into a broad, evolving subspace over training. To access broader gradient-relevant structure while keeping individual perturbations low-dimensional, AIM-ZO activates only a smaller set of shared and sampled directions, decoupling the maintained width from the active width. We evaluate AIM-ZO across 5 LLMs and 11 downstream tasks under matched forward-evaluation budgets; its six-task average exceeds the strongest fully evaluated ZO baseline by 1.26 percentage points on OPT-2.7B and MeZO by 2.85 percentage points on OPT-30B. Our code is available at https://github.com/EkkoXy/AIM-ZO
• Abstract（参考訳）: Zeroth-order (ZO) 最適化は、バックプロパゲーションやアクティベーションストレージなしで、摂動パラメータの前方評価からのみ更新を推定することで、LCMの微調整のメモリ効率の良い代替手段を提供する。 しかし、10億パラメータのLLMでは、等方性摂動は弱い情報的方向の多くの前方評価を無駄にすることが多い。 これらの評価をより有益なものにするため、既存のZO法は低次元部分空間への摂動を制限する。 しかし、これらのサブスペースの品質は重要であり、過度に圧縮されたり、メンテナンスの不十分なスペースは、便利な更新方向を見逃す可能性がある。 本稿では,ZO更新のための高品質なサブスペースを実現するために,アクティベーションインフォームドサブスペースメンテナンスに基づくZO微調整手法であるAIM-ZOを提案する。 AIM-ZOは、フォワードアクティベーションを局所的な方向情報として使用し、トレーニングよりも広範に進化したサブスペースに連続的に統合する。 個別の摂動を低次元に保ち、より広い勾配関連構造にアクセスするために、AIM-ZOは共有方向とサンプル方向の小さなセットのみを活性化し、維持された幅をアクティブ幅から切り離す。 OPT-2.7B, MeZOでは6タスク平均が1.26ポイント, OPT-30Bでは2.85ポイント, OPT-2.7Bでは6タスク平均が最多である。 私たちのコードはhttps://github.com/EkkoXy/AIM-ZOで利用可能です。

関連論文リスト

• SubZero+: Efficient Zeroth-Order LLM Fine-Tuning via Large Learning Rates [25.09609527559127]
  SubZero+は改善されたSubZeroフレームワークで、3つの補完的な方法で安定性を改善する。 SubZero+ は、ZO ベースラインを一貫して上回り、安定した学習速度範囲を拡大し、メモリオーバーヘッドを最小限に抑えた一階法にギャップを狭めることを示す。
  論文  参考訳（メタデータ） (2026-08-16T10:13:25Z)
• SAB-LVLM: Significance-Aware Binarization for Large Vision-Language Models [75.75091459417304]
  LVLM(Large Vision-Language Models)はマルチモーダル理解において顕著な進歩を遂げている。 LVLMはメモリと遅延のオーバーヘッドをかなり発生させ、リソース制約のあるデバイスへの実際のデプロイメントを著しく制限する。 本稿では,ストレージと計算コストを大幅に削減するバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2026-07-02T08:30:00Z)
• ZO-Act: Efficient Zeroth-Order Fine-Tuning via One-Shot Activation-Informed Low-Rank Subspaces [8.08601759467653]
  Zeroth-order (ZO) 最適化により、バックプロパゲーションが利用できない場合やメモリ制限の場合に、大きな言語モデルを微調整できる。 本稿では, アクティベーションインフォームドZOファインチューニング手法であるZO-Actを提案し, 摂動を固定された低ランク部分空間に制限する。 我々は、ZO-Actを制限係数空間上のゼロ階最適化として解析し、低次元係数の摂動がZO推定器の分散依存収束項と有限差分誤差の両方を減少させることを示す。
  論文  参考訳（メタデータ） (2026-07-01T16:12:50Z)
• OASIS: Online Activation Subspace Learning for Memory-Efficient Training [8.921166277011345]
  メモリ効率向上のためのオンラインアクティベーションサブスペース学習アルゴリズムを提案する。 OASISはトレーニング中に低次元のアクティベーションサブスペースを追跡し、継続的に更新する。 最大2ドル(約2,800円)のピークメモリを実現します。
  論文  参考訳（メタデータ） (2026-04-10T15:19:54Z)
• AGZO: Activation-Guided Zeroth-Order Optimization for LLM Fine-Tuning [8.698253005940503]
  アクティベーション誘導ゼロ階最適化(AGZO)を提案する。 従来の方法とは異なり、AGZOは前方通過中にフライ上のコンパクトな活性化インフォームド部分空間を抽出し、この低ランク部分空間に摂動を制限する。 AGZOは、最先端のZOベースラインを一貫して上回り、一階ファインチューニングによるパフォーマンスギャップを著しく狭めている。
  論文  参考訳（メタデータ） (2026-01-24T02:28:15Z)
• Breaking the Frozen Subspace: Importance Sampling for Low-Rank Optimization in LLM Pretraining [43.39070237124361]
  低ランク最適化は、大きな言語モデルのメモリ効率のトレーニングを可能にするための有望なアプローチである。 これらの手法の鍵となる課題は、効果的な軌道を確保するために適切な部分空間を選択することである。 本稿では,LLMプリトレーニングにおける低ランク最適化のための重要サンプリングについて提案する。
  論文  参考訳（メタデータ） (2025-02-09T06:30:19Z)
• TeZO: Empowering the Low-Rankness on the Temporal Dimension in the Zeroth-Order Optimization for Fine-tuning LLMs [58.19080159470868]
  モデルと時間次元の両方にわたって低ランク度をキャプチャする新しい低ランクZO推定器TeZOを提案する。 具体的には、時間次元に沿ったZO摂動を3次元テンソルとして表現し、Canonical Polyadic Decomposition (CPD)を用いて各低ランク2次元行列を抽出する。
  論文  参考訳（メタデータ） (2025-01-31T11:34:03Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Towards Efficient Vision-Language Tuning: More Information Density, More Generalizability [73.34532767873785]
  本稿では,行列が特定の特徴空間に強く属しているかを示すために,情報密度(ID)の概念を提案する。 Dense Information Prompt (DIP)を導入し、情報密度を高め、一般化を改善する。 DIPは、調整可能なパラメータの数と必要なストレージスペースを大幅に減らし、リソース制約のある設定で特に有利になる。
  論文  参考訳（メタデータ） (2023-12-17T20:42:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。