論文の概要: ADAM Optimization with Adaptive Batch Selection
- arxiv url: http://arxiv.org/abs/2512.06795v1
- Date: Sun, 07 Dec 2025 11:15:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 22:03:54.533302
- Title: ADAM Optimization with Adaptive Batch Selection
- Title（参考訳）: 適応バッチ選択を用いたADAM最適化
- Authors: Gyu Yeol Kim, Min-hwan Oh,
- Abstract要約: 我々は,AdamをAdamに組み込むAdamial Bandit Sampling (AdamCB)を紹介した。
我々は,AdamCBが以前のBandit-based variantを含むAdam-based法よりも高速に収束することを示す。
- 参考スコア（独自算出の注目度）: 35.61554920994471
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Adam is a widely used optimizer in neural network training due to its adaptive learning rate. However, because different data samples influence model updates to varying degrees, treating them equally can lead to inefficient convergence. To address this, a prior work proposed adapting the sampling distribution using a bandit framework to select samples adaptively. While promising, the bandit-based variant of Adam suffers from limited theoretical guarantees. In this paper, we introduce Adam with Combinatorial Bandit Sampling (AdamCB), which integrates combinatorial bandit techniques into Adam to resolve these issues. AdamCB is able to fully utilize feedback from multiple samples at once, enhancing both theoretical guarantees and practical performance. Our regret analysis shows that AdamCB achieves faster convergence than Adam-based methods including the previous bandit-based variant. Numerical experiments demonstrate that AdamCB consistently outperforms existing methods.
- Abstract（参考訳）: Adamは、適応学習率のためにニューラルネットワークトレーニングで広く使われているオプティマイザである。
しかし、異なるデータサンプルがモデル更新に様々な程度に影響を与えるため、それらを扱うことは非効率な収束につながる可能性がある。
これを解決するために、Banditフレームワークを用いてサンプリング分布を適応させ、サンプルを適応的に選択することを提案した。
有望な一方で、バンドイットに基づくアダムの変種は限定的な理論上の保証に悩まされている。
本稿では,Adamにコンビニアルバンドサンプリング(AdamCB)を導入する。
AdamCBは、複数のサンプルからのフィードバックを一度に完全に活用することができ、理論的保証と実用的なパフォーマンスの両方を強化します。
我々は,AdamCBが以前のBandit-based variantを含むAdam-based法よりも高速に収束することを示す。
数値実験により、AdamCBは既存の手法より一貫して優れていることが示された。
関連論文リスト
- Understanding the Generalization of Stochastic Gradient Adam in Learning Neural Networks [38.11287525994738]
アダムの一般化にどのように影響するかに関する最初の理論的特徴を示す。
以上の結果から,AdamとAdamWはともに適切な重みの減衰を伴って貧弱なテスト誤差解に収束するが,そのミニバッチ変種はほぼゼロのテスト誤差を達成できることがわかった。
論文 参考訳（メタデータ） (2025-10-13T12:48:22Z) - In Search of Adam's Secret Sauce [11.215133680044005]
さまざまなデータ構成とスケールで1,300以上の言語モデルをトレーニングしています。
符号付き運動量法は SGD よりも高速であるが、Adam と比較して一貫して性能が劣っている。
この設定でAdam氏は、勾配の平均と分散を推定するための自然なオンラインアルゴリズムを実装している。
論文 参考訳（メタデータ） (2025-05-27T23:30:18Z) - Making Substitute Models More Bayesian Can Enhance Transferability of
Adversarial Examples [89.85593878754571]
ディープニューラルネットワークにおける敵の例の転送可能性は多くのブラックボックス攻撃の欠如である。
我々は、望ましい転送可能性を達成するためにベイズモデルを攻撃することを提唱する。
我々の手法は近年の最先端を大きなマージンで上回る。
論文 参考訳（メタデータ） (2023-02-10T07:08:13Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-05-18T05:43:06Z) - Understanding the Generalization of Adam in Learning Neural Networks
with Proper Regularization [118.50301177912381]
我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。
凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
論文 参考訳（メタデータ） (2021-08-25T17:58:21Z) - Towards Practical Adam: Non-Convexity, Convergence Theory, and
Mini-Batch Acceleration [12.744658958445024]
Adamは、ディープニューラルネットワークをトレーニングするための最も影響力のある適応アルゴリズムの1つです。
適応学習率の低下、大きなバッチサイズの採用など、既存のアプローチは、Adam型アルゴリズムの収束を促進しようとしている。
本稿では,履歴ベース学習率のパラメータにのみ依存する,代替的な簡易チェック条件を提案する。
論文 参考訳（メタデータ） (2021-01-14T06:42:29Z) - Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
Adamはディープラーニングアプリケーションに広く使われている最適化手法である。
我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。
画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
論文 参考訳（メタデータ） (2020-11-24T09:28:53Z) - Adam with Bandit Sampling for Deep Learning [18.033149110113378]
我々は、異なるトレーニング例に適応できるAdambsと呼ばれるAdamの一般化を提案する。
様々なモデルとデータセットの実験は、実際にアダムスの高速収束を実証している。
論文 参考訳（メタデータ） (2020-10-24T21:01:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。