論文の概要: LaProp: Separating Momentum and Adaptivity in Adam

• arxiv url: http://arxiv.org/abs/2002.04839v3
• Date: Sun, 13 Jun 2021 21:13:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 19:23:18.600392
• Title: LaProp: Separating Momentum and Adaptivity in Adam
• Title（参考訳）: LaProp: Adamのモメンタムと適応性を分離する
• Authors: Liu Ziyin, Zhikang T.Wang, Masahito Ueda
• Abstract要約: 本稿では,アダムスタイルの手法で運動量と適応性を分離する手法であるLapropを提案する。 実験により、Lapropは様々なタスクにおいてAdamよりも速度と安定性を一貫して改善していることが示された。
• 参考スコア（独自算出の注目度）: 4.511923587827301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We identity a by-far-unrecognized problem of Adam-style optimizers which results from unnecessary coupling between momentum and adaptivity. The coupling leads to instability and divergence when the momentum and adaptivity parameters are mismatched. In this work, we propose a method, Laprop, which decouples momentum and adaptivity in the Adam-style methods. We show that the decoupling leads to greater flexibility in the hyperparameters and allows for a straightforward interpolation between the signed gradient methods and the adaptive gradient methods. We experimentally show that Laprop has consistently improved speed and stability over Adam on a variety of tasks. We also bound the regret of Laprop on a convex problem and show that our bound differs from that of Adam by a key factor, which demonstrates its advantage.
• Abstract（参考訳）: 我々は、運動量と適応性の不要な結合から生じるアダム式最適化器の非認識問題を特定する。 結合は運動量と適応性パラメータが一致しないときに不安定性とばらつきをもたらす。 本研究では,アダム型手法の運動量と適応性を分離する手法であるLapropを提案する。 分離によりハイパーパラメータの柔軟性が向上し,符号付き勾配法と適応勾配法との直接補間が可能となることを示す。 実験により,lapropは様々なタスクにおいてadamよりも速度と安定性が一貫して向上していることを示した。 我々はまた、ラプロップの後悔を凸問題に縛り付け、その利点を示す重要な要因によって、我々の境界がアダムのものと異なることを示す。

関連論文リスト

• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Large Skew-t Copula Models and Asymmetric Dependence in Intraday Equity Returns [0.49157446832511503]
  スクリュー・トゥ・コプラモデル(英語版)は、非対称かつ極端なテール依存を可能にするため、財務データのモデリングに魅力的なものである。 Azzalini と Capitanio (2003) の skew-t 分布に暗黙的に表されるコプラは、2つの一般的な代替スキュー-t コプラよりも高レベルな対非対称依存を可能にすることを示す。 本稿では,高速かつ高精度なベイズ変分推論(VI)手法を提案する。
  論文  参考訳（メタデータ） (2023-08-10T13:24:45Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Evaluating Sensitivity to the Stick-Breaking Prior in Bayesian Nonparametrics [85.31247588089686]
  変分ベイズ法はベイズモデルのパラメトリック的および非パラメトリック的側面に対して感性が得られることを示す。 ベイズ感度分析に対する変動的アプローチの理論的および経験的支援を提供する。
  論文  参考訳（メタデータ） (2021-07-08T03:40:18Z)
• CADA: Communication-Adaptive Distributed Adam [31.02472517086767]
  勾配降下(SGD)は、大規模機械学習の主要な作業場としてステージに立った。 本稿では,Adam方式の通信適応型手法とみなす分散機械学習の適応勾配降下法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T06:52:18Z)
• Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
  Adamはディープラーニングアプリケーションに広く使われている最適化手法である。 我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。 画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-11-24T09:28:53Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients [112.00379151834242]
  本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。 これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
  論文  参考訳（メタデータ） (2020-06-21T21:47:43Z)
• A Unified Analysis of AdaGrad with Weighted Aggregation and Momentum Acceleration [21.929334023875874]
  適応学習率の統合。 SGDのテクニックは、大きなものにつながります。 AdaGradやAdamのような適応アルゴリズムを効率的に高速化する。 AdaProp、Adam、AccAdaProp、Adam、RMSTOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOO
  論文  参考訳（メタデータ） (2018-08-10T04:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。