論文の概要: Adam with Bandit Sampling for Deep Learning
- arxiv url: http://arxiv.org/abs/2010.12986v1
- Date: Sat, 24 Oct 2020 21:01:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 12:27:25.596172
- Title: Adam with Bandit Sampling for Deep Learning
- Title（参考訳）: 深層学習のためのバンディットサンプリング付きadam
- Authors: Rui Liu, Tianyi Wu, Barzan Mozafari
- Abstract要約: 我々は、異なるトレーニング例に適応できるAdambsと呼ばれるAdamの一般化を提案する。
様々なモデルとデータセットの実験は、実際にアダムスの高速収束を実証している。
- 参考スコア（独自算出の注目度）: 18.033149110113378
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adam is a widely used optimization method for training deep learning models.
It computes individual adaptive learning rates for different parameters. In
this paper, we propose a generalization of Adam, called Adambs, that allows us
to also adapt to different training examples based on their importance in the
model's convergence. To achieve this, we maintain a distribution over all
examples, selecting a mini-batch in each iteration by sampling according to
this distribution, which we update using a multi-armed bandit algorithm. This
ensures that examples that are more beneficial to the model training are
sampled with higher probabilities. We theoretically show that Adambs improves
the convergence rate of Adam---$O(\sqrt{\frac{\log n}{T} })$ instead of
$O(\sqrt{\frac{n}{T}})$ in some cases. Experiments on various models and
datasets demonstrate Adambs's fast convergence in practice.
- Abstract（参考訳）: Adamはディープラーニングモデルのトレーニングに広く使われている最適化手法である。
異なるパラメータに対する個別適応学習率を計算する。
本稿では,adambsと呼ばれるadamの一般化を提案し,モデルの収束におけるその重要性に基づいて,異なるトレーニング例にも適応できることを示す。
これを実現するために,全例にわたる分布を維持し,この分布に従ってサンプリングすることにより,各イテレーションにおけるミニバッチを選択し,マルチアームバンディットアルゴリズムを用いて更新する。
これにより、モデルトレーニングに有利な例が、高い確率でサンプル化されることが保証される。
理論的には、Adambsは$O(\sqrt {\frac{n}{T}})$の代わりにAdam--$O(\sqrt {\frac {\log n}{T} })$の収束率を改善する。
様々なモデルとデータセットに関する実験は、adambsの高速収束を実際に示している。
関連論文リスト
- On Convergence of Adam for Stochastic Optimization under Relaxed
Assumptions [4.9495085874952895]
Adaptive Momentum Estimation (Adam)アルゴリズムは、様々なディープラーニングタスクにおいて非常に効果的である。
この一般的な雑音モデルの下で,Adamは高い反復率で定常点のばらつきを見いだせることを示す。
論文 参考訳（メタデータ） (2024-02-06T13:19:26Z) - Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。
$nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文 参考訳（メタデータ） (2022-12-26T15:13:13Z) - Intra-class Adaptive Augmentation with Neighbor Correction for Deep
Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。
クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。
本手法は,検索性能の最先端手法を3%～6%向上させる。
論文 参考訳（メタデータ） (2022-11-29T14:52:38Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳（メタデータ） (2022-10-05T09:17:27Z) - Forgetting Data from Pre-trained GANs [28.326418377665345]
特定の種類のサンプルを忘れないように、トレーニング後にモデルを後編集する方法について検討する。
我々は,GANに対して,忘れるべきサンプルの表現方法が異なる3つの異なるアルゴリズムを提供する。
我々のアルゴリズムは、完全再トレーニングのコストのごく一部で、高品質を維持しながらデータを忘れることができる。
論文 参考訳（メタデータ） (2022-06-29T03:46:16Z) - Maximizing Communication Efficiency for Large-scale Training via 0/1
Adam [49.426602335460295]
1ビット通信はモデルトレーニングのスケールアップに有効な手法であり、SGDで広く研究されている。
我々は2つの新しい手法により最先端の1ビットAdamを改善する0/1Adamを提案する。
論文 参考訳（メタデータ） (2022-02-12T08:02:23Z) - Understanding the Generalization of Adam in Learning Neural Networks
with Proper Regularization [118.50301177912381]
我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。
凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
論文 参考訳（メタデータ） (2021-08-25T17:58:21Z) - Towards Practical Adam: Non-Convexity, Convergence Theory, and
Mini-Batch Acceleration [12.744658958445024]
Adamは、ディープニューラルネットワークをトレーニングするための最も影響力のある適応アルゴリズムの1つです。
適応学習率の低下、大きなバッチサイズの採用など、既存のアプローチは、Adam型アルゴリズムの収束を促進しようとしている。
本稿では,履歴ベース学習率のパラメータにのみ依存する,代替的な簡易チェック条件を提案する。
論文 参考訳（メタデータ） (2021-01-14T06:42:29Z) - Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
Adamはディープラーニングアプリケーションに広く使われている最適化手法である。
我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。
画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
論文 参考訳（メタデータ） (2020-11-24T09:28:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。