論文の概要: Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity

• arxiv url: http://arxiv.org/abs/2508.05302v1
• Date: Thu, 07 Aug 2025 12:00:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 18:59:39.843917
• Title: Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity
• Title（参考訳）: 確率的1次Oracle複雑度最小化に基づく確率的勾配Descentに対する適応バッチサイズと学習率スケジューリング器
• Authors: Hikaru Umeda, Hideaki Iiduka,
• Abstract要約: ミニバッチ勾配降下(SGD)の収束挙動はバッチサイズと学習速度設定に非常に敏感である。 最近の理論的研究により、第一次オラクルの複雑さを最小限に抑える臨界バッチサイズの存在が確認されている。 臨界バッチサイズに関する理論的な知見を生かしたSGDを高速化するための適応スケジューリング戦略が導入された。
• 参考スコア（独自算出の注目度）: 0.6906005491572401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The convergence behavior of mini-batch stochastic gradient descent (SGD) is highly sensitive to the batch size and learning rate settings. Recent theoretical studies have identified the existence of a critical batch size that minimizes stochastic first-order oracle (SFO) complexity, defined as the expected number of gradient evaluations required to reach a stationary point of the empirical loss function in a deep neural network. An adaptive scheduling strategy is introduced to accelerate SGD that leverages theoretical findings on the critical batch size. The batch size and learning rate are adjusted on the basis of the observed decay in the full gradient norm during training. Experiments using an adaptive joint scheduler based on this strategy demonstrated improved convergence speed compared with that of existing schedulers.
• Abstract（参考訳）: ミニバッチ確率勾配勾配(SGD)の収束挙動はバッチサイズと学習速度設定に非常に敏感である。 近年の理論的研究により、深部ニューラルネットワークにおける経験的損失関数の定常点に到達するのに必要な勾配評価の期待値として定義される確率的一階オラクル(SFO)複雑性を最小化する臨界バッチサイズの存在が確認されている。 臨界バッチサイズに関する理論的な知見を生かしたSGDを高速化するための適応スケジューリング戦略が導入された。 バッチサイズと学習速度は、トレーニング中の全勾配標準における観測された減衰に基づいて調整される。 この戦略に基づく適応型ジョイントスケジューラを用いた実験により,既存のスケジューラと比較して収束速度が向上した。

関連論文リスト

• Optimal Growth Schedules for Batch Size and Learning Rate in SGD that Reduce SFO Complexity [0.6906005491572401]
  計算勾配法におけるバッチサイズと学習速度のスケジューリングは効率を低下させ、収束を損なう。 理論的には,SFOの複雑性を低減させるバッチサイズと学習率の最適な成長スケジュールを導出した。 本結果は,ディープラーニングにおける大規模バッチ学習をスケーラブルかつ効率的に行うための理論的知見と実践的ガイドラインの両方を提供する。
  論文  参考訳（メタデータ） (2025-08-07T11:52:25Z)
• Optimizing Chain-of-Thought Reasoners via Gradient Variance Minimization in Rejection Sampling and RL [20.177871969184004]
  チェーン・オブ・シント(CoT)推論は、モデルが中間的推論ステップを生成する必要がある潜在変数問題として形式化することができる。 反復的な報酬ランクの微調整のような以前のアプローチは、難易度と収束挙動の変動を考慮しない。 本稿では,計算予算制約下での勾配分散を最小限に抑えるために,プロンプト固有の動的サンプル割当戦略であるGVMRAFTを提案する。
  論文  参考訳（メタデータ） (2025-05-05T06:26:00Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Beyond adaptive gradient: Fast-Controlled Minibatch Algorithm for large-scale optimization [1.6749379740049926]
  そこで我々は,F-CMA,F-Controlled Mini-batchアルゴリズムを導入し,各エポックあたりの損失低減を確保するために,十分な減少条件とライン探索手順を備えたランダムリシャッフル法を提案する。 テストでは、トレーニング時間全体の68%の削減、エポック毎の効率の最大20%向上、モデル精度の最大5%向上など、大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-11-24T11:46:47Z)
• Iteration and Stochastic First-order Oracle Complexities of Stochastic Gradient Descent using Constant and Decaying Learning Rates [0.8158530638728501]
  本研究では,学習速度だけでなく,バッチサイズにも依存していることを示す。 その結果, 評価された臨界バッチサイズは, 理論結果から推定したサイズに近いことがわかった。
  論文  参考訳（メタデータ） (2024-02-23T14:24:45Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• On the Origin of Implicit Regularization in Stochastic Gradient Descent [22.802683068658897]
  勾配降下(SGD)は全バッチ損失関数上の勾配流の経路に従う。 ランダムシャッフルを伴うSGDの場合、学習速度が小さく有限であれば、平均SGDは勾配流の経路に近づいたままである。 損失に暗黙の正則化器を明示的に含めれば、学習率が小さい場合にテスト精度が向上することを確認した。
  論文  参考訳（メタデータ） (2021-01-28T18:32:14Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。