論文の概要: Wanda-Guided Sparse Perturbations for Efficient Zeroth-Order Optimization
- arxiv url: http://arxiv.org/abs/2611.16317v1
- Date: Thu, 12 Nov 2026 05:25:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.367812
- Title: Wanda-Guided Sparse Perturbations for Efficient Zeroth-Order Optimization
- Title(参考訳): 効率的なゼロ階最適化のためのワンダ誘導スパース摂動
- Abstract要約: WIS-MeZOは、トレーニング済みモデルの密度を維持しながらタスク条件付きスパース摂動マスクを構築する。
我々は、勾配エネルギーの捕捉を通して支援品質を分析し、勾配推定と収束を関連づける。
LLaMAとQwenによる16のベンチマークでは、3Bパラメータから32Bパラメータまでのモデルが達成されている。
- 参考スコア(独自算出の注目度): 38.77660492076979
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Zeroth-order (ZO) optimization enables memory-efficient fine-tuning of large language models through forward-only evaluations, but high-dimensional random perturbations can limit optimization efficiency. Sparse perturbations reduce the search dimension, making the selection of informative coordinates critical. We propose Wanda-Importance Sparsity-MeZO (WIS-MeZO), which uses Wanda weight--activation saliency to construct task-conditioned sparse perturbation masks while keeping the pretrained model dense. We analyze support quality through gradient energy capture and relate it to gradient estimation and convergence. Across 16 benchmarks with LLaMA and Qwen models ranging from 3B to 32B parameters, WIS-MeZO achieves higher aggregate scores than MeZO and reaches comparable validation losses in fewer optimization steps. Comparisons with random and magnitude-based sparse perturbations further highlight the importance of informative support selection.
- Abstract(参考訳): ゼロオーダー最適化(ZO)は、前方のみの評価によって大きな言語モデルのメモリ効率の良い微調整を可能にするが、高次元ランダム摂動は最適化効率を制限することができる。
スパース摂動は探索次元を減少させ、情報的座標の選択をクリティカルにする。
本稿では,Wanda-Importance Sparsity-MeZO(WIS-MeZO)を提案する。
我々は、勾配エネルギーの捕捉を通して支援品質を分析し、勾配推定と収束を関連づける。
3Bパラメータから32Bパラメータまで、LLaMAとQwenモデルを使用した16のベンチマークで、WIS-MeZOはMeZOよりも高い集計スコアを達成し、最適化ステップの短縮で同等の検証損失に達した。
ランダムおよび等級に基づくスパース摂動との比較は、情報的支援選択の重要性をさらに強調する。
関連論文リスト
- On Adaptivity in Zeroth-Order Optimization [16.620217856482377]
ZO-Adamのような適応ZO法は、よく調整されたZO-SGDに対して収束優位性を与えないことを示す。
本稿では,グローバルステップサイズ適応のための1つのスカラーのみを追跡するメモリ効率の高い適応ZOであるMEAZOを提案する。
論文 参考訳(メタデータ) (2026-05-05T15:29:11Z) - Universally Empowering Zeroth-Order Optimization via Adaptive Layer-wise Sampling [43.822941944402544]
ゼロ階最適化は、微調整された大規模言語モデルのための有望なメモリ効率のパラダイムを提供する。
しかし,壁面収差の緩やかな収束と高い推定分散により,その実用化は厳しく制約されている。
本稿では,適応層型ZO最適化フレームワークであるAdaLeZOを提案する。
論文 参考訳(メタデータ) (2026-04-20T13:37:31Z) - Robust and Efficient Zeroth-Order LLM Fine-Tuning via Adaptive Bayesian Subspace Optimizer [4.6561758107970395]
ゼロオーダー (ZO) 最適化による微調整大型言語モデル (LLM) は,関数評価による勾配の近似によりメモリ削減を行う。
適応型textbfBayesian textbfSubspace textbfZeroth-Order textbfOptimizer について紹介する。
論文 参考訳(メタデータ) (2026-01-04T09:35:11Z) - Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。
Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。
本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
論文 参考訳(メタデータ) (2024-10-11T17:01:43Z) - AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。
AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
論文 参考訳(メタデータ) (2023-10-16T09:04:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。