論文の概要: ENGINE: Endogenous Variational MultiScale Optimization for Zeroth-Order LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2611.03293v1
• Date: Mon, 02 Nov 2026 15:31:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 12:44:42.218823
• Title: ENGINE: Endogenous Variational MultiScale Optimization for Zeroth-Order LLM Fine-Tuning
• Title（参考訳）: ENGINE:ゼロ階LLMファインチューニングのための内因性変分多スケール最適化
• Abstract要約: ゼロオーダー(ZO)最適化により、メモリ効率の高い大規模言語モデル(LLM)の微調整が可能になる。 本稿では,この問題を解決するためにENGINE (Endogenous Variational MultiScale)を提案する。 エンジニアは既存のZO手法よりも高精度で高速な収束を実現し、前方通過で最大2.61タイムのスピードアップを達成している。
• 参考スコア（独自算出の注目度）: 13.95963204893114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zeroth-order (ZO) optimization enables memory-efficient large language model (LLM) fine-tuning, and recent methods incorporate curvature-aware strategies. However, in the high-dimensional parameter space of LLMs, these methods inherently suffer from exploding gradient variance and prohibitive costs. Conversely, confining updates to a low-dimensional subspace reduces variance but discards critical high-dimensional information, degrading performance. This creates a fundamental dilemma: full-space optimization is informative but has high variance, while subspace optimization has low variance but loses information. To break this trade-off, we propose ENGINE (Endogenous Variational MultiScale). Inspired by computational mechanics, we adapt static Variational MultiScale (VMS) theory to dynamic optimization, treating low- and high-dimensional spaces as resolved coarse and unresolved fine scales. Through a multigrid-style V-cycle, ENGINE alternates between spaces, dynamically probing fine-grained information in the high-dimensional space and injecting it to correct the efficient low-dimensional sampling process. Under appropriate assumptions, statistical analysis characterizes variance reduction and correction of curvature-induced bias, and convergence analysis establishes a stationarity bound for the corrected coarse updates. Evaluations on standard LLM benchmarks show that ENGINE achieves higher accuracy and faster convergence than existing ZO methods, achieving up to a $2.61\times$ speed-up in forward passes with zero additional peak memory overhead. Code is available at https://github.com/AI4Science-WestlakeU/ENGINE.
• Abstract（参考訳）: ゼロオーダー(ZO)最適化は,メモリ効率の高い大規模言語モデル(LLM)の微調整を可能にする。 しかし、LLMの高次元パラメータ空間では、これらの手法は本質的に勾配のばらつきと禁止コストの爆発に悩まされる。 逆に、低次元部分空間への更新の収束は分散を減少させるが、重要な高次元情報を捨て、劣化性能を低下させる。 これは基本的なジレンマを生み出す: フルスペース最適化は情報的だが、分散度が高いが、サブスペース最適化は分散度が低いが情報を失う。 このトレードオフを打破するために, ENGINE (Endogenous Variational MultiScale) を提案する。 計算力学にインスパイアされた静的変分マルチスケール(VMS)理論を動的最適化に適用し,低次元および高次元空間を粗大かつ未解決の微細スケールとして扱う。 ENGINEはマルチグリッドスタイルのVサイクルを通じて空間を交互に行い、高次元空間の微細な情報を動的に探索し、それを注入して効率的な低次元サンプリングプロセスを修正する。 適切な仮定の下では、統計解析は曲率誘起バイアスの分散低減と補正を特徴付け、収束解析は補正された粗い更新に対して定常性を確立する。 LLMベンチマークの評価によると、ENGINEは既存のZO法よりも精度が高く、より高速な収束を実現しており、最大2.61\times$の高速化を実現し、ピークメモリのオーバーヘッドはゼロである。 コードはhttps://github.com/AI4Science-WestlakeU/ENGINEで入手できる。

関連論文リスト

• CurvZO: Adaptive Curvature-Guided Sparse Zeroth-Order Optimization for Efficient LLM Fine-Tuning [15.930478833291827]
  バックプロパゲーションを備えた微調整の大型言語モデル(LLM)は高い性能を実現するが、かなりのメモリオーバーヘッドを引き起こす。 本稿では、スカラーZOフィードバックからオンラインの曲率信号を追跡するCurvZOを提案する。 CurvZOは微調整性能を継続的に改善し,ZOベースラインでのトレーニング時間を短縮することを示す。
  論文  参考訳（メタデータ） (2026-03-23T09:13:45Z)
• Low-rank Momentum Factorization for Memory Efficient Training [13.464518325870444]
  Momentum Factorized (MoFaSGD) は、1次運動量の動的に更新された低ランクSVD表現を維持している。 大規模な言語モデルベンチマークにおけるMoFaSGDの有効性を実証し、メモリ削減(例えばLoRA)と性能の競合的なトレードオフを実現する。
  論文  参考訳（メタデータ） (2025-07-10T18:04:52Z)
• Breaking the Frozen Subspace: Importance Sampling for Low-Rank Optimization in LLM Pretraining [43.39070237124361]
  低ランク最適化は、大きな言語モデルのメモリ効率のトレーニングを可能にするための有望なアプローチである。 これらの手法の鍵となる課題は、効果的な軌道を確保するために適切な部分空間を選択することである。 本稿では,LLMプリトレーニングにおける低ランク最適化のための重要サンプリングについて提案する。
  論文  参考訳（メタデータ） (2025-02-09T06:30:19Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。