論文の概要: Beyond a Single Explanation of the Adam--SGD Gap

• arxiv url: http://arxiv.org/abs/2606.14259v1
• Date: Fri, 12 Jun 2026 08:43:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.83747
• Title: Beyond a Single Explanation of the Adam--SGD Gap
• Title（参考訳）: アダムギャップの単一説明を超えて--SGDギャップ
• Authors: Chenxiang Zhang, Rustem Islamov, Enea Monzio Compagnoni, Jun Pang, Aurelien Lucchi, Antonio Orvieto,
• Abstract要約: これまでの研究は、AdamとSGDのパフォーマンスギャップに寄与するいくつかの要因を特定してきた。 以上の結果から,Adam-SGDギャップはどの因子も一貫して説明できないことが示唆された。
• 参考スコア（独自算出の注目度）: 27.821705738798986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior work has identified several factors that can contribute to the performance gap between Adam and SGD, spanning data aspects, architecture design, and optimization properties. Yet these explanations are often studied in isolation, leaving their relative importance unclear. In this work, we revisit these hypotheses through a controlled empirical study across vision, language, genomics, and graph tasks, spanning modern and classical architectures, and carefully designed training setups. Our results suggest that no single factor consistently explains the Adam--SGD gap. For instance, the Adam advantage can (1) persist under a uniform vocabulary distribution yet nearly disappear under a heavy-tailed one; (2) reverse in favor of SGD in softmax-attention models; and (3) become larger under soft architectural modifications, e.g., when ReLU is replaced by a GeLU nonlinearity. This suggests that the gap arises from nontrivial data and architecture interactions, rather than from a single common factor. Yet, we observe a pattern across our settings: a \emph{crossover batch size} at which the relative advantage shifts from SGD to Adam as the batch size scales. These empirical results are captured by our theoretical gap model, which predicts this batch-size-dependent crossover. Our perspective helps reconcile several existing hypotheses while offering practical insights across domains.
• Abstract（参考訳）: 以前の作業では、データ側面、アーキテクチャ設計、最適化特性にまたがるAdamとSGDのパフォーマンスギャップに寄与するいくつかの要因が特定されている。 しかし、これらの説明はしばしば孤立して研究され、それらの相対的な重要性ははっきりしないままである。 本研究では,視覚,言語,ゲノミクス,グラフタスクにまたがる制御された実証的研究を通じて,これらの仮説を再考する。 以上の結果から,Adam-SGDギャップはどの因子も一貫して説明できないことが示唆された。 例えば、アダム・アドバンテージ(Adam advantage)(1)は、一様語彙分布の下で持続するが、重い尾を持つものの下でほぼ消失する、(2)ソフトマックスアテンションモデルにおけるSGDの逆転、(3)ReLUがGeLU非線形性に置き換えられたときのソフトアーキテクチャ修正(英語版)において、より大きいものとなる。 これは、このギャップが単一の共通要素ではなく、非自明なデータとアーキテクチャの相互作用から生じることを示唆している。 バッチサイズがスケールするにつれて、相対的なアドバンテージがSGDからAdamにシフトします。 これらの実験結果は、このバッチサイズ依存のクロスオーバーを予測する理論的ギャップモデルによって捉えられる。 私たちの視点は、ドメインをまたいだ実践的な洞察を提供しながら、いくつかの既存の仮説の調整に役立ちます。

関連論文リスト

• Is your batch size the problem? Revisiting the Adam-SGD gap in language modeling [36.106114687828395]
  言語モデルでは、AdamはGradient Descent(SGD)よりもはるかに優れていることが知られている。 我々は,SGDとAdamのギャップに運動量,勾配クリッピング,バッチサイズがどのような影響を及ぼすか,徹底的に検討した。
  論文  参考訳（メタデータ） (2025-06-14T15:37:31Z)
• The Rich and the Simple: On the Implicit Bias of Adam and SGD [26.722625797251553]
  Adamは、いくつかのディープラーニングアプリケーションのためのデファクト最適化アルゴリズムである。 実際には、(確率的な)勾配降下(GD)で訓練されたニューラルネットワーク(NN)は、単純さのバイアスを示すことが知られている。 我々は、Adamがこのような単純さのバイアスに抵抗していることを示します。
  論文  参考訳（メタデータ） (2025-05-29T21:46:12Z)
• A Simple and Generalist Approach for Panoptic Segmentation [57.94892855772925]
  本稿では,深部エンコーダ-浅部デコーダアーキテクチャに基づく簡易な一般化フレームワークを提案する。 これはトレーニング中の不均衡に起因することを示し、その削減のための新しい方法を提案する。 提案手法は,MS-COCOデータセット上で55.1のPQを実現する。
  論文  参考訳（メタデータ） (2024-08-29T13:02:12Z)
• Linking Robustness and Generalization: A k* Distribution Analysis of Concept Clustering in Latent Space for Vision Models [56.89974470863207]
  本稿では,局所的近傍解析手法であるk*分布を用いて,個々の概念のレベルで学習された潜伏空間について検討する。 視覚モデルの潜在空間の全体的品質を評価するために、個々の概念を解釈するための歪度に基づく真および近似メトリクスを導入する。
  論文  参考訳（メタデータ） (2024-08-17T01:43:51Z)
• Predictive Churn with the Set of Good Models [61.00058053669447]
  本稿では,予測的不整合という2つの無関係な概念の関連性について考察する。 予測多重性(英: predictive multiplicity)は、個々のサンプルに対して矛盾する予測を生成するモデルである。 2つ目の概念である予測チャーン(英: predictive churn)は、モデル更新前後の個々の予測の違いを調べるものである。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• From Gradient Flow on Population Loss to Learning with Stochastic Gradient Descent [50.4531316289086]
  SGD(Gradient Descent)は、大規模非ルートモデルの学習方法である。 集団損失のGFが収束すると仮定して、総合的な条件 SGD が収束する。 我々は、凸損失のような古典的な設定だけでなく、Retrieval Matrix sq-rootのようなより複雑な問題に対してもGD/SGDを統一的に解析する。
  論文  参考訳（メタデータ） (2022-10-13T03:55:04Z)
• Variational Causal Networks: Approximate Bayesian Inference over Causal Structures [132.74509389517203]
  離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。 実験では,提案した変分後部が真の後部を良好に近似できることを示した。
  論文  参考訳（メタデータ） (2021-06-14T17:52:49Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• AdaSGD: Bridging the gap between SGD and Adam [14.886598905466604]
  我々はSGDとAdamのパフォーマンスの潜在的な違いを同定する。 我々は、AdaSGDがSGD AdamとSGD非降下の両方の利点を組み合わせていることを実証する。
  論文  参考訳（メタデータ） (2020-06-30T05:44:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。