Fugu-MT 論文翻訳(概要): Gradient Under Microscope: Benchmarking Resource Utilization of Memory-Efficient Gradient Computation Methods

論文の概要: Gradient Under Microscope: Benchmarking Resource Utilization of Memory-Efficient Gradient Computation Methods

arxiv url: http://arxiv.org/abs/2608.08961v1
Date: Sun, 09 Aug 2026 23:41:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-11 19:16:37.007395
Title: Gradient Under Microscope: Benchmarking Resource Utilization of Memory-Efficient Gradient Computation Methods
Title（参考訳）: 顕微鏡下のグラディエント:メモリ効率の高いグラディエント計算手法のベンチマーク資源利用
Abstract要約: AIトレーニングのリソース強度の上昇は、電力供給と炭素予算を圧迫し、制約のあるハードウェア上でのメモリ効率のトレーニングの体系的な研究を動機付けている。 4つのトランスアーキテクチャで5つの勾配エンコーダ(SGD,Adam,Adagrad,Adadelta,Conjugate Gradient Descent)をベンチマークする。グラディエント蓄積は最も信頼性の高い戦略として現れ、視覚言語モデル上でのトレーニング損失をおよそ1桁削減する。
参考スコア（独自算出の注目度）: 5.076654891010082
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: AI training's rising resource intensity is straining electricity supplies and carbon budgets, motivating systematic study of memory-efficient training on constrained hardware. We benchmark five gradient optimizers (SGD, Adam, Adagrad, Adadelta, and Conjugate Gradient Descent) under three memory strategies (standard training, gradient checkpointing, and gradient accumulation) across four transformer architectures (ViT, ModernBERT, Llama 3.1 1B, and NanoVLM), measuring training loss, GPU utilization, training time, and memory usage. Gradient accumulation emerges as the most reliable strategy, cutting training loss by roughly an order of magnitude on the vision-language model and about four-fold on the language model without additional GPU memory. Contrary to common practice, Adam is not universally superior: Adadelta and SGD outperform it on the encoder and autoregressive architectures. Gradient checkpointing's effect is strongly architecture-dependent, improving vision transformer loss while severely degrading the encoder model, and it increases training time by up to 60% on memory-bound models. GPU utilization is governed primarily by architecture, ranging from 8-15% for the memory-bound language model to 96-99% for compute-bound vision models. These findings provide practical guidelines for optimizer and gradient-strategy selection in resource-efficient model training and deployment.
Abstract（参考訳）: AIトレーニングのリソース強度の上昇は、電力供給と炭素予算を圧迫し、制約のあるハードウェア上でのメモリ効率のトレーニングの体系的な研究を動機付けている。我々は,4つのトランスフォーマーアーキテクチャ(ViT,ModernBERT,Llama 3.111B,NanoVLM)における3つのメモリ戦略(標準トレーニング,勾配チェックポイント,勾配蓄積)に基づいて,SGD,Adam,Adagrad,Adadelta,Conjugate Gradient Descent)をベンチマークし,トレーニング損失,GPU使用率,トレーニング時間,メモリ使用量を測定した。グラディエント蓄積は最も信頼性の高い戦略として現れ、視覚言語モデルで約1桁のトレーニング損失を削減し、GPUメモリを追加せずに言語モデルで約4倍の精度で処理する。 AdadeltaとSGDはエンコーダや自動回帰アーキテクチャよりも優れています。グラディエントチェックポイントの効果はアーキテクチャに依存し、エンコーダモデルを著しく劣化させながら視覚変換器の損失を改善し、メモリバウンドモデルでトレーニング時間を最大60%向上させる。 GPUの利用は主にアーキテクチャによって管理されており、メモリバウンド言語モデルでは8-15%、コンピュータバウンドビジョンモデルでは96-99%である。これらの知見は、資源効率の高いモデルトレーニングと展開における最適化と勾配-戦略選択の実践的ガイドラインを提供する。

関連論文リスト

Backward-Friendly Optimization: Training Large Language Models with Approximate Gradients under Memory Constraints [14.20716202034732]
LLM(Large Language Models)の完全な微調整は、メモリ集約性で悪名高い。 GradLiteは、正確な勾配の要求を緩和する後方フレンドリーなソリューションである。我々はGradLiteが有界な分散を伴う不偏推定を維持し、Adamに匹敵する収束率を保証することを示す。
論文参考訳（メタデータ） (2025-10-26T00:50:12Z)
APOLLO: SGD-like Memory, AdamW-level Performance [61.53444035835778]
大規模言語モデル(LLM)は、トレーニング中にメモリ集約的であることで知られている。メモリ使用量を減らすために、様々なメモリ効率のScalが提案されている。 i)コストのかかるSVDオペレーション、(ii)AdamWと比較して大きなパフォーマンストレードオフ、(iii)競争性能を維持する上でのメモリオーバーヘッド、などです。
論文参考訳（メタデータ） (2024-12-06T18:55:34Z)
COAP: Memory-Efficient Training with Correlation-Aware Gradient Projection [17.54863041098623]
トレーニング性能を維持しながら計算オーバーヘッドを最小限に抑えるメモリ効率の高いCOAPを提案する。 LLaMA-1Bでは、メモリをわずか2%追加で61%削減し、AdamWと同じPPLを実現する。 8ビット量子化により、COAPはメモリを81%削減し、LLaVA-v1.5-7BファインチューニングのためにGaLoreを4倍高速化する。
論文参考訳（メタデータ） (2024-11-26T03:50:52Z)
GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection [133.45193150403537]
LLM(Large Language Models)のトレーニングは、重み付けやGPU状態の増大によって、メモリ上の重大な問題が発生する。本研究では,メモリ効率のトレーニング戦略としてグラディエント・ローランド・プロジェクション(GaLore)を提案する。私たちの8ビットのGaLoreは、BF16ベースラインと比較して、メモリを82.5%、トレーニング総メモリを63.3%削減します。
論文参考訳（メタデータ） (2024-03-06T07:29:57Z)
Adam Accumulation to Reduce Memory Footprints of both Activations and Gradients for Large-scale DNN Training [6.0904817096340125]
本稿では,Adam Accumulation (AdamA) という,アクティベーションとグラデーションメモリの両方を削減可能な新しいAdamの蓄積手法を提案する。具体的には、AdamAは状態への勾配を直接統合し、マイクロバッチ上で状態を蓄積することで、使用直後に勾配を解放することができる。 AdamAは、トレーニングスループットが2%未満のグラデーション累積に比べて最大23%のメモリ削減を実現している。
論文参考訳（メタデータ） (2023-05-31T16:06:50Z)
Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文参考訳（メタデータ） (2023-05-24T15:52:08Z)
On-Device Training Under 256KB Memory [62.95579393237751]
本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
論文参考訳（メタデータ） (2022-06-30T17:59:08Z)
M6-10T: A Sharing-Delinking Paradigm for Efficient Multi-Trillion Parameter Pretraining [55.16088793437898]
極端なモデルのトレーニングには大量の計算とメモリフットプリントが必要です。本稿では,高メモリフットプリント要求大モデルのための簡単なトレーニング戦略"Pseudo-to-Real"を提案する。
論文参考訳（メタデータ） (2021-10-08T04:24:51Z)
GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文参考訳（メタデータ） (2021-02-16T11:45:35Z)
Low-rank Gradient Approximation For Memory-Efficient On-device Training of Deep Neural Network [9.753369031264532]
モバイルデバイス上で機械学習モデルをトレーニングすることは、モデルのプライバシと精度の両方を改善する可能性がある。この目標を達成する上での大きな障害のひとつは、モバイルデバイスのメモリ制限である。本稿では,低ランクパラメータ化を用いた深層ニューラルネットワークの勾配行列の近似手法を提案する。
論文参考訳（メタデータ） (2020-01-24T05:12:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。