論文の概要: Efficient Sharpness-Aware Minimization for Molecular Graph Transformer Models

• arxiv url: http://arxiv.org/abs/2406.13137v1
• Date: Wed, 19 Jun 2024 01:03:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 23:38:44.272913
• Title: Efficient Sharpness-Aware Minimization for Molecular Graph Transformer Models
• Title（参考訳）: 分子グラフトランスモデルの効率的シャープネス認識最小化
• Authors: Yili Wang, Kaixiong Zhou, Ninghao Liu, Ying Wang, Xin Wang,
• Abstract要約: シャープネスを意識した最小化(SAM)は、訓練軌道と一般化劣化からシャープな局所最小化を効果的に排除できるため、コンピュータビジョンにおいて注目を集めている。 本稿では、SAMのトレーニングコストを削減し、グラフトランスフォーマーモデルの一般化性能を向上させる、GraphSAMという新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 42.59948316941217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sharpness-aware minimization (SAM) has received increasing attention in computer vision since it can effectively eliminate the sharp local minima from the training trajectory and mitigate generalization degradation. However, SAM requires two sequential gradient computations during the optimization of each step: one to obtain the perturbation gradient and the other to obtain the updating gradient. Compared with the base optimizer (e.g., Adam), SAM doubles the time overhead due to the additional perturbation gradient. By dissecting the theory of SAM and observing the training gradient of the molecular graph transformer, we propose a new algorithm named GraphSAM, which reduces the training cost of SAM and improves the generalization performance of graph transformer models. There are two key factors that contribute to this result: (i) \textit{gradient approximation}: we use the updating gradient of the previous step to approximate the perturbation gradient at the intermediate steps smoothly (\textbf{increases efficiency}); (ii) \textit{loss landscape approximation}: we theoretically prove that the loss landscape of GraphSAM is limited to a small range centered on the expected loss of SAM (\textbf{guarantees generalization performance}). The extensive experiments on six datasets with different tasks demonstrate the superiority of GraphSAM, especially in optimizing the model update process. The code is in:https://github.com/YL-wang/GraphSAM/tree/graphsam
• Abstract（参考訳）: シャープネス認識最小化(SAM)は、訓練軌道からのシャープ局所最小化を効果的に排除し、一般化の劣化を軽減することができるため、コンピュータビジョンにおいて注目されている。 しかし、SAMは各ステップの最適化中に2つの逐次勾配計算を必要とする: 1つは摂動勾配、もう1つは更新勾配を得る。 ベースオプティマイザ(例えばAdam)と比較すると、SAMはさらなる摂動勾配のために時間オーバーヘッドを2倍にする。 SAMの理論を解き、分子グラフ変換器のトレーニング勾配を観察することにより、SAMのトレーニングコストを低減し、グラフ変換器モデルの一般化性能を向上させる新しいアルゴリズムGraphSAMを提案する。 この結果に寄与する要因は2つある。 i) \textit{gradient approximation}: 前段の更新勾配を用いて、中間段の摂動勾配を滑らかに近似する(\textbf{increases efficiency})。 (ii) \textit{loss landscape approximation}: 理論上、GraphSAMの損失景観はSAMの期待損失を中心とする小さな範囲に限定されていることを証明する。 異なるタスクを持つ6つのデータセットに関する広範な実験は、特にモデル更新プロセスの最適化において、GraphSAMの優位性を示している。 コードは:https://github.com/YL-wang/GraphSAM/tree/graphsam

関連論文リスト

• Improving Visual Prompt Tuning by Gaussian Neighborhood Minimization for Long-Tailed Visual Recognition [39.057791275055074]
  モデル一般化を改善するためにランダムSAMプロンプトチューニング(RSAM-PT)と呼ばれる新しい手法を提案する。 我々は, 遅延再重み付け方式を用いて, テールクラス標本の意義を高める。 RSAM-PTは、90.3%、76.5%、50.1%の最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-28T13:58:17Z)
• Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification [53.727688136434345]
  グラフニューラルネットワーク(GNN)はノード分類において優れた性能を示している。 高速グラフシャープネス認識最小化(FGSAM)を提案する。 提案アルゴリズムは,FSNCタスクにおいて,計算コストの低い標準SAMよりも優れる。
  論文  参考訳（メタデータ） (2024-10-22T09:33:29Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• CR-SAM: Curvature Regularized Sharpness-Aware Minimization [8.248964912483912]
  Sharpness-Aware Minimization (SAM) は,1段階の勾配上昇を近似として,最悪のケース損失を最小限に抑え,一般化性を高めることを目的としている。 本稿では,トレーニングとテストセットの両面における損失景観の曲率を正確に測定する正規化ヘッセントレースを提案する。 特に、損失景観の過度な非線形性に対抗するために、曲率正規化SAM(CR-SAM)を提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:46:29Z)
• Efficient Generalization Improvement Guided by Random Weight Perturbation [24.027159739234524]
  Gruesome-aware Minimization (SAM)は、一般化の改善のための一般的なスキームを確立する。 我々は、SAMのネスト勾配を分離するために、フィルタワイズランダムウェイト摂動(RWP)を利用する。 我々は、CIFAR上での非常に競争力のあるパフォーマンスと、ImageNet上での極めて優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2022-11-21T14:24:34Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Towards Efficient and Scalable Sharpness-Aware Minimization [81.22779501753695]
  内部勾配の上昇を周期的に計算する新しいアルゴリズム LookSAM を提案する。 LookSAMはSAMと同じような精度を実現し、非常に高速である。 Vision Transformer(ViTs)のトレーニングでバッチサイズのスケールアップに成功したのは,私たちが初めてです。
  論文  参考訳（メタデータ） (2022-03-05T11:53:37Z)
• Update in Unit Gradient [8.143750358586074]
  機械学習では、損失の最小値を見つけるために降下法を用いて最適化を行う。 我々は代数における単位ベクトル空間を提案し、代数における数学的本能だけでなく、勾配アルゴリズムの利点も保った。
  論文  参考訳（メタデータ） (2021-10-01T04:00:51Z)
• Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
  textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
  論文  参考訳（メタデータ） (2021-06-22T03:13:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。