論文の概要: Budget-aware Auto Optimizer Configurator

• arxiv url: http://arxiv.org/abs/2605.04711v1
• Date: Wed, 06 May 2026 10:02:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.761225
• Title: Budget-aware Auto Optimizer Configurator
• Title（参考訳）: 予算対応オートオプティマイザ構成器
• Authors: Kang Liu, Wei Peng, Jianchen Hu,
• Abstract要約: 本稿では,各ブロックに適切な構成を割り当てることにより,メモリコストの低減を図るため,BAOC(Budget-Aware Configurator)を提案する。 次に、メモリと時間予算の総リスクを最小限に抑えるために、制限された割り当て問題を解決し、ブロック毎に予算可能な構成を選択する。
• 参考スコア（独自算出の注目度）: 15.23698901433138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimizer states occupy massive GPU memory in large-scale model training. However, gradients in different network blocks exhibit distinct behaviors, such as varying directional stability and scale anisotropy, implying that expensive optimizer states are not universally necessary and using a global optimizer is often memory-inefficient. We propose the Budget-Aware Optimizer Configurator (BAOC) to reduce memory cost by assigning suitable optimizer configurations to individual blocks under given budgets. Specifically, BAOC samples gradient streams to derive statistical metrics that quantify the potential performance risk of applying cheaper configurations (e.g., low precision or removing momentum). It then solves a constrained allocation problem to minimize total risk under memory and time budgets, selecting a budget-feasible configuration for each block. Experiments across vision, language, and diffusion workloads demonstrate that BAOC maintains training quality while significantly reducing the memory usage of optimizer states. The code is available at https://anonymous.4open.science/r/BAOC-45C6.
• Abstract（参考訳）: オプティマイザステートは、大規模なモデルトレーニングにおいて巨大なGPUメモリを占有する。 しかし、異なるネットワークブロックの勾配は、方向安定性やスケール異方性などの異なる挙動を示し、高価なオプティマイザ状態は普遍的に必要ではなく、大域的なオプティマイザの使用はメモリ非効率であることが示唆されている。 本稿では,適切な最適化設定を与えられた予算の下で個々のブロックに割り当てることで,メモリコストを削減するため,BAOC(Budget-Aware Optimizer Configurator)を提案する。 具体的には、BAOCは勾配ストリームをサンプリングし、より安価な構成(例えば、低い精度、または運動量の除去)を適用する際の潜在的なパフォーマンスリスクを定量化する統計指標を導出する。 次に、メモリと時間予算の総リスクを最小限に抑えるために、制限された割り当て問題を解決し、ブロック毎に予算可能な構成を選択する。 ビジョン、言語、拡散ワークロードにわたる実験は、BAOCがトレーニング品質を維持しつつ、オプティマイザ状態のメモリ使用量を大幅に削減していることを示している。 コードはhttps://anonymous.4open.science/r/BAOC-45C6で公開されている。

関連論文リスト

• Low-rank Momentum Factorization for Memory Efficient Training [13.464518325870444]
  Momentum Factorized (MoFaSGD) は、1次運動量の動的に更新された低ランクSVD表現を維持している。 大規模な言語モデルベンチマークにおけるMoFaSGDの有効性を実証し、メモリ削減(例えばLoRA)と性能の競合的なトレードオフを実現する。
  論文  参考訳（メタデータ） (2025-07-10T18:04:52Z)
• FRUGAL: Memory-Efficient Optimization by Reducing State Overhead for Scalable Training [51.39495282347475]
  我々は、新しいメモリ効率最適化フレームワークであるtextbfF$ull-$textbfR$ank $textbfU$pdates with $textbfG$r$textbfA$dient sp$textbfL$ittingを紹介します。 当社のフレームワークは,GaLoreやBAdamなど,さまざまな低ランク更新選択技術と統合することが可能です。
  論文  参考訳（メタデータ） (2024-11-12T14:41:07Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Target-based Surrogates for Stochastic Optimization [26.35752393302125]
  我々は(おそらく)勾配を計算するのに費用がかかる関数の最小化を考える。 このような機能は、計算強化学習、模倣学習、および敵の訓練で広く用いられている。 我々のフレームワークは、最適化アルゴリズムを用いて、効率的に最小化できるサロゲートを構築することができる。
  論文  参考訳（メタデータ） (2023-02-06T08:08:34Z)
• Cost-aware Bayesian Optimization [6.75013674088437]
  コストを意識したBOは、時間、エネルギー、お金といった他のコスト指標との収束を測定します。 我々は,目標関数をできるだけ少ないコストで最小化しようとするコスト調整BO(CArBO)を導入する。
  論文  参考訳（メタデータ） (2020-03-22T14:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。