Fugu-MT 論文翻訳(概要): MpSub: A Momentum $p$-Dimensional Subspace Trust-Region Method for Derivative-Free Fine-Tuning of Large Language Models

論文の概要: MpSub: A Momentum $p$-Dimensional Subspace Trust-Region Method for Derivative-Free Fine-Tuning of Large Language Models

arxiv url: http://arxiv.org/abs/2609.07666v1
Date: Mon, 07 Sep 2026 15:51:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:08.462675
Title: MpSub: A Momentum $p$-Dimensional Subspace Trust-Region Method for Derivative-Free Fine-Tuning of Large Language Models
Title（参考訳）: MpSub:大言語モデルの微分自由ファインチューニングのためのモメンタム$p$次元部分空間信頼回帰法
Abstract要約: 微調整言語モデルのためのモーメント$p$次元部分空間信頼領域法(MpSub)を提案する。 MpSubは$p$次元の部分空間内を探索し、ある方向は最も最近受け入れられたステップから歴史的運動量を保存する。 3つの種に対して0.673と0.690の平均的な精度を達成し、学習速度の検索なしに調整されたMeZO (0.685)と一致する。
参考スコア（独自算出の注目度）: 2.420502889163267
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Full-parameter fine-tuning of large language models has substantial memory costs because backpropagation stores activations and gradients. Zeroth-order optimization avoids this by estimating update directions from loss evaluations, but existing methods require tuning a sensitive learning rate for each model and task. We propose the momentum $p$-dimensional subspace trust-region method (MpSub). At each iteration, MpSub searches within a $p$-dimensional subspace: one direction preserves historical momentum from the most recent accepted step, while the remaining directions explore via fresh random sampling. The subspace gradient is estimated by central differences, a trial step is computed from a linear trust-region model, and the trust-region radius adapts according to the agreement between predicted and observed loss reduction, eliminating the learning rate. For LLM fine-tuning, evaluations within an iteration share a minibatch, and directions are regenerated in place from seeds, using forward passes alone. For smooth deterministic objectives under unorthogonalized Gaussian directions, we bound the finite-difference error, quantify gradient energy captured by the subspace, and prove that $\lim_{k\to\infty} \|\nabla f(x_k)\|_2 = 0$ almost surely under a safeguarded radius update. Under a matched budget of 8,400 training-objective forward passes, we fine-tune OPT-125M and OPT-350M on CommitmentBank. With the same preset parameters at both model sizes, MpSub attains mean test accuracies of 0.673 and 0.690 over three seeds, matching tuned MeZO (0.685) without any learning-rate search.
Abstract（参考訳）: バックプロパゲーションにはアクティベーションと勾配が格納されているため、大きな言語モデルのフルパラメータの微調整にはかなりのメモリコストがかかる。ゼロオーダー最適化では、更新方向を損失評価から推定することでこれを回避しているが、既存の手法では各モデルとタスクに対してセンシティブな学習率を調整する必要がある。モーメント$p$次元部分空間信頼領域法(MpSub)を提案する。それぞれのイテレーションにおいて、MpSubは$p$次元のサブ空間内を探索し、ある方向は最も最近受け入れられたステップから歴史的モーメントを保存し、残りの方向は新鮮なランダムサンプリングを通して探索する。部分空間勾配は中央差分により推定され、線形信頼領域モデルから試行ステップが計算され、信頼領域半径は予測された損失減少と観測された損失減少との一致に従って適応し、学習率を除去する。 LLMファインチューニングでは、イテレーション内の評価はミニバッチを共有し、フォワードパスだけで種子から方向を再生する。非直交化ガウス方向の滑らかな決定論的目的のために、有限差分誤差を境界とし、部分空間によって捕捉された勾配エネルギーを定量化し、$\lim_{k\to\infty} \|\nabla f(x_k)\|_2 = 0$ が安全半径更新の下でほぼ確実に証明する。 8,400人のトレーニング対象のフォワードパスの一致した予算の下で、私たちはCommitmentBankでOPT-125MとOPT-350Mを微調整しました。両方のモデルサイズで同じプリセットパラメータで、MpSubは3つの種に対して0.673と0.690の平均テスト精度を達成し、学習速度検索なしで調整されたMeZO (0.685)と一致する。

関連論文リスト

Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文参考訳（メタデータ） (2026-06-05T14:00:47Z)
Distance-Aware Muon: Adaptive Step Scaling for Normalized Optimization [47.817303172845506]
ミューオンと関連する正規化は、ステップスケールの選択から更新方向の選択を分離する。我々は,Muonチューニングのための3つの補完アルゴリズムを開発し,正規化適応スケーリングパラメータを開発した。
論文参考訳（メタデータ） (2026-05-18T18:19:26Z)
Zero-Order Optimization for LLM Fine-Tuning via Learnable Direction Sampling [40.94400211806987]
摂動方向のサンプリング分布を学習可能なポリシとして扱う政策駆動型ZOフレームワークを提案する。学習したサンプリングは、品質勾配情報を改善し、$d$の収束境界への明示的な依存を緩和することを示す。以上の結果から,適応方向サンプリングはZOの微調整を大規模に実現する上で有望な方法であることが示唆された。
論文参考訳（メタデータ） (2026-02-14T08:01:41Z)
Robust and Efficient Zeroth-Order LLM Fine-Tuning via Adaptive Bayesian Subspace Optimizer [4.6561758107970395]
ゼロオーダー (ZO) 最適化による微調整大型言語モデル (LLM) は,関数評価による勾配の近似によりメモリ削減を行う。適応型textbfBayesian textbfSubspace textbfZeroth-Order textbfOptimizer について紹介する。
論文参考訳（メタデータ） (2026-01-04T09:35:11Z)
Lean and Mean Adaptive Optimization via Subset-Norm and Subspace-Momentum with Convergence Guarantees [5.399838579600896]
本稿では,大規模ニューラルネットワークのトレーニングを高速化しながら,メモリ要求を低減し,効率的な最適化を実現するための2つの補完的補完手法を提案する。最初のテクニックであるSubset-m Step sizeは、ステップサイズの共有を通じてAdaGrad-NormとAdaGrad(-Norm)を一般化する。第2の手法であるSubspace-Momentumは、運動量状態のメモリフットプリントを低次元のサブスペースにモーメントすることで削減する。
論文参考訳（メタデータ） (2024-11-11T16:48:07Z)
Learning Infinite-Horizon Average-Reward Linear Mixture MDPs of Bounded Span [16.49229317664822]
本稿では,無限水平平均逆線形混合マルコフ決定過程(MDPs)を学習するための計算抽出可能なアルゴリズムを提案する。線形混合MDPのアルゴリズムは,$widetildemathcalO(dsqrtmathrmsp(v*)T)$$$T$以上の最小限の後悔上限を実現する。
論文参考訳（メタデータ） (2024-10-19T05:45:50Z)
Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
論文参考訳（メタデータ） (2024-10-11T17:01:43Z)
Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement [29.675650285351768]
深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。近似MUは大規模モデルの実用的手法である。本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
論文参考訳（メタデータ） (2024-09-29T15:17:33Z)
Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-03-07T15:03:50Z)
Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
論文参考訳（メタデータ） (2024-02-14T07:52:00Z)
Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo [104.9535542833054]
我々は、強化学習のためのトンプソンサンプリングに基づくスケーラブルで効果的な探索戦略を提案する。代わりに、Langevin Monte Carlo を用いて、Q 関数をその後部分布から直接サンプリングする。提案手法は,Atari57スイートからのいくつかの挑戦的な探索課題において,最先端の深部RLアルゴリズムと比較して,より優れた,あるいは類似した結果が得られる。
論文参考訳（メタデータ） (2023-05-29T17:11:28Z)
Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes [80.89852729380425]
そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
論文参考訳（メタデータ） (2022-12-12T18:58:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。