論文の概要: Update in Unit Gradient

• arxiv url: http://arxiv.org/abs/2110.00199v1
• Date: Fri, 1 Oct 2021 04:00:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-05 01:13:22.442350
• Title: Update in Unit Gradient
• Title（参考訳）: ユニットグラデーションの更新
• Authors: Ching-Hsun. Tseng, Liu-Hsueh. Cheng, Shin-Jye. Lee, Xiaojun Zeng
• Abstract要約: 機械学習では、損失の最小値を見つけるために降下法を用いて最適化を行う。 我々は代数における単位ベクトル空間を提案し、代数における数学的本能だけでなく、勾配アルゴリズムの利点も保った。
• 参考スコア（独自算出の注目度）: 8.143750358586074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Machine Learning, optimization mostly has been done by using a gradient descent method to find the minimum value of the loss. However, especially in deep learning, finding a global minimum from a nonconvex loss function across a high dimensional space is an extraordinarily difficult task. Recently, a generalization learning algorithm, Sharpness-Aware Minimization (SAM), has made a great success in image classification task. Despite the great performance in creating convex space, proper direction leading by SAM is still remained unclear. We, thereby, propose a creating a Unit Vector space in SAM, which not only consisted of the mathematical instinct in linear algebra but also kept the advantages of adaptive gradient algorithm. Moreover, applying SAM in unit gradient brings models competitive performances in image classification datasets, such as CIFAR - {10, 100}. The experiment showed that it performed even better and more robust than SAM.
• Abstract（参考訳）: 機械学習では、主に勾配降下法を用いて損失の最小値を求めることで最適化が行われている。 しかし、特に深層学習において、非凸損失関数から高次元空間を横断する大域的最小値を見つけることは、非常に難しい課題である。 近年,画像分類タスクにおいて,一般化学習アルゴリズム SAM (Sharpness-Aware Minimization) が大きな成功を収めている。 凸空間の作成における優れた性能にもかかわらず、SAMによって導かれる適切な方向はまだ不明である。 そこで我々は,線形代数の数学的本能だけでなく,適応勾配アルゴリズムの利点も持つSAMにおける単位ベクトル空間の創出を提案する。 さらに、SAMを単位勾配に適用すると、CIFAR - {10, 100} のような画像分類データセットにおいて、競合する性能が得られる。 実験の結果、SAMよりも優れた、より堅牢な性能を示した。

関連論文リスト

• Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification [53.727688136434345]
  グラフニューラルネットワーク(GNN)はノード分類において優れた性能を示している。 高速グラフシャープネス認識最小化(FGSAM)を提案する。 提案アルゴリズムは,FSNCタスクにおいて,計算コストの低い標準SAMよりも優れる。
  論文  参考訳（メタデータ） (2024-10-22T09:33:29Z)
• Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement [29.675650285351768]
  深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。 近似MUは大規模モデルの実用的手法である。 本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
  論文  参考訳（メタデータ） (2024-09-29T15:17:33Z)
• Efficient Sharpness-Aware Minimization for Molecular Graph Transformer Models [42.59948316941217]
  シャープネスを意識した最小化(SAM)は、訓練軌道と一般化劣化からシャープな局所最小化を効果的に排除できるため、コンピュータビジョンにおいて注目を集めている。 本稿では、SAMのトレーニングコストを削減し、グラフトランスフォーマーモデルの一般化性能を向上させる、GraphSAMという新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-19T01:03:23Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Class Gradient Projection For Continual Learning [99.105266615448]
  破滅的な忘れは継続的学習(CL)における最も重要な課題の1つです。 タスクではなく個々のクラスから勾配部分空間を計算するクラスグラディエント・プロジェクション(CGP)を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:45:56Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• Efficient Generalization Improvement Guided by Random Weight Perturbation [24.027159739234524]
  Gruesome-aware Minimization (SAM)は、一般化の改善のための一般的なスキームを確立する。 我々は、SAMのネスト勾配を分離するために、フィルタワイズランダムウェイト摂動(RWP)を利用する。 我々は、CIFAR上での非常に競争力のあるパフォーマンスと、ImageNet上での極めて優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2022-11-21T14:24:34Z)
• Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach [132.37966970098645]
  人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。 本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。 さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-10-11T06:30:10Z)
• Towards Efficient and Scalable Sharpness-Aware Minimization [81.22779501753695]
  内部勾配の上昇を周期的に計算する新しいアルゴリズム LookSAM を提案する。 LookSAMはSAMと同じような精度を実現し、非常に高速である。 Vision Transformer(ViTs)のトレーニングでバッチサイズのスケールアップに成功したのは,私たちが初めてです。
  論文  参考訳（メタデータ） (2022-03-05T11:53:37Z)
• Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
  本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。 シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-03T19:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。