論文の概要: Why Transformers Need Adam: A Hessian Perspective
- arxiv url: http://arxiv.org/abs/2402.16788v1
- Date: Mon, 26 Feb 2024 18:01:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 19:38:50.016785
- Title: Why Transformers Need Adam: A Hessian Perspective
- Title(参考訳): トランスフォーマーがAdamを必要とする理由
- Authors: Yushun Zhang, Congliang Chen, Tian Ding, Ziniu Li, Ruoyu Sun, Zhi-Quan
Luo
- Abstract要約: ブロックのヘッセンスペクトルは、ブロックの不均一性と呼ばれる現象として、劇的に変化する」。
SGDは、ブロック間の不均一性を扱うことができない、すべてのブロックに対して1つの学習率を適用するため、フェールする。
Adam氏が設計したように、ブロック毎に異なる学習率を割り当てることができれば、失敗は解決できるでしょう。
- 参考スコア(独自算出の注目度): 25.890325253955695
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: SGD performs worse than Adam by a significant margin on Transformers, but the
reason remains unclear. In this work, we provide an explanation of SGD's
failure on Transformers through the lens of Hessian: (i) Transformers are
``heterogeneous'': the Hessian spectrum across parameter blocks vary
dramatically, a phenomenon we call ``block heterogeneity"; (ii) Heterogeneity
hampers SGD: SGD performs badly on problems with block heterogeneity. To
validate that heterogeneity hampers SGD, we check various Transformers, CNNs,
MLPs, and quadratic problems, and find that SGD works well on problems without
block heterogeneity but performs badly when the heterogeneity exists. Our
initial theoretical analysis indicates that SGD fails because it applies one
single learning rate for all blocks, which cannot handle the heterogeneity
among blocks. The failure could be rescued if we could assign different
learning rates across blocks, as designed in Adam.
- Abstract(参考訳): SGDはトランスフォーマーのかなりの差でAdamよりもパフォーマンスが悪いが、その理由は不明だ。
本稿では、ヘッセンのレンズを通してSGDがトランスフォーマーに失敗したことを説明する。
(i)トランスフォーマーは ``heterogeneous'' であり、パラメータブロック間のヘッシアンスペクトルは劇的に異なり、``block heterogeneity' と呼ばれる現象である。
(II) 異種ハマーSGD: SGDはブロックの不均一性の問題に対してひどく作用する。
ヘテロジニティハマーSGDを検証するために、様々なトランスフォーマー、CNN、MPP、二次問題を確認し、異種性をブロックすることなく問題に対してうまく機能するが、異種性が存在する場合には性能が良くないことを示す。
我々の最初の理論的分析は、SGDはブロック間の不均一性を扱うことができない全てのブロックに対して1つの学習率を適用するため失敗することを示している。
adam氏が設計したように、ブロック間で異なる学習率を割り当てることができれば、失敗は救えるでしょう。
関連論文リスト
- Alleviating Structural Distribution Shift in Graph Anomaly Detection [70.1022676681496]
グラフ異常検出(GAD)は二項分類の問題である。
ガロン神経ネットワーク(GNN)は、同胞性隣人からの正常の分類に有用である。
ヘテロ親水性隣人の影響を緩和し、不変にするための枠組みを提案する。
論文 参考訳(メタデータ) (2024-01-25T13:07:34Z) - On the Trajectories of SGD Without Replacement [0.0]
本稿では,グラディエントDescence(SGD)の暗黙的正則化効果について検討する。
我々は、大規模なニューラルネットワークを最適化するために一般的に使用される変種である、置換のないSGDの場合を考える。
論文 参考訳(メタデータ) (2023-12-26T18:06:48Z) - Noise Is Not the Main Factor Behind the Gap Between SGD and Adam on
Transformers, but Sign Descent Might Be [16.170888329408353]
大規模なバッチを持つAdamの挙動は、運動量を持つ符号降下と類似していることが示される。
我々は,SGDとAdamのパフォーマンスギャップにおいて,重み付けノイズと重み付けノイズが重要な要因ではないことを示す。
論文 参考訳(メタデータ) (2023-04-27T05:41:13Z) - From Gradient Flow on Population Loss to Learning with Stochastic
Gradient Descent [50.4531316289086]
SGD(Gradient Descent)は、大規模非ルートモデルの学習方法である。
集団損失のGFが収束すると仮定して、総合的な条件 SGD が収束する。
我々は、凸損失のような古典的な設定だけでなく、Retrieval Matrix sq-rootのようなより複雑な問題に対してもGD/SGDを統一的に解析する。
論文 参考訳(メタデータ) (2022-10-13T03:55:04Z) - Relational Reasoning via Set Transformers: Provable Efficiency and
Applications to MARL [154.13105285663656]
置換不変エージェントフレームワークを用いたMARL(Multi-A gent R einforcement Learning)は,実世界のアプリケーションにおいて大きな実証的成功を収めた。
残念なことに、このMARL問題の理論的理解は、多くのエージェントの呪いと、既存の著作における関係推論の限定的な探索によって欠落している。
モデルフリーアルゴリズムとモデルベースアルゴリズムの最適度差は各エージェント数に独立して対数的であり、多くのエージェントの呪いを和らげる。
論文 参考訳(メタデータ) (2022-09-20T16:42:59Z) - Implicit Regularization or Implicit Conditioning? Exact Risk
Trajectories of SGD in High Dimensions [26.782342518986503]
勾配降下(SGD)は現代の機械学習の柱であり、様々な問題に対するゴート最適化アルゴリズムとして機能している。
HSGD形式をストリーミングSGDに適合させる方法を示し、ストリーミングSGDと比較してマルチパスSGDの過大なリスクを正確に予測できることを示す。
論文 参考訳(メタデータ) (2022-06-15T02:32:26Z) - Risk Bounds of Multi-Pass SGD for Least Squares in the Interpolation
Regime [127.21287240963859]
勾配降下(SGD)は最適化と一般化の両方において優れた性能を持つため、大きな成功を収めている。
本稿では,マルチパスSGDの一般化を強く特徴付けることを目的とする。
我々は,SGDが同じレベルの過剰リスクを達成するためには,GD以上を必要とするが,勾配評価の回数を削減できることを示した。
論文 参考訳(メタデータ) (2022-03-07T06:34:53Z) - SignSGD: Fault-Tolerance to Blind and Byzantine Adversaries [0.0]
我々はSGDから派生したより堅牢なSignSGDアルゴリズムに焦点を当てる。
我々は、学習プロセスを潰そうとするビザンティン戦略とともにSignSGDを実装した。
論文 参考訳(メタデータ) (2022-02-04T11:40:08Z) - SGD: The Role of Implicit Regularization, Batch-size and Multiple-epochs [30.41773138781369]
本稿では,現実に一般的に用いられているグラディエント・ディファイス(SGD)のマルチエポックな変種について述べる。
最悪の場合、これはシングルパスSGDと同程度であることを示す。
SCOの特定の問題に対して、データセットに複数のパスを取ることは、シングルパスSGDを著しく上回る。
論文 参考訳(メタデータ) (2021-07-11T15:50:01Z) - On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。
硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
論文 参考訳(メタデータ) (2021-06-30T17:09:47Z) - Random Shuffling Beats SGD Only After Many Epochs on Ill-Conditioned
Problems [55.40911408462676]
その結果,非置換型SGDエンファンドは最悪のケース境界において,非置換型SGDに対して顕著な改善は得られなかった。
機械学習や他の分野の多くの問題は条件が不適切であり、大きなデータセットが関与しているため、非置換が現実的な予算のための非置換サンプリングよりも必ずしも改善しないことを示している。
論文 参考訳(メタデータ) (2021-06-12T23:07:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。