論文の概要: Update in Unit Gradient
- arxiv url: http://arxiv.org/abs/2110.00199v1
- Date: Fri, 1 Oct 2021 04:00:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-05 01:13:22.442350
- Title: Update in Unit Gradient
- Title(参考訳): ユニットグラデーションの更新
- Authors: Ching-Hsun. Tseng, Liu-Hsueh. Cheng, Shin-Jye. Lee, Xiaojun Zeng
- Abstract要約: 機械学習では、損失の最小値を見つけるために降下法を用いて最適化を行う。
我々は代数における単位ベクトル空間を提案し、代数における数学的本能だけでなく、勾配アルゴリズムの利点も保った。
- 参考スコア(独自算出の注目度): 8.143750358586074
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In Machine Learning, optimization mostly has been done by using a gradient
descent method to find the minimum value of the loss. However, especially in
deep learning, finding a global minimum from a nonconvex loss function across a
high dimensional space is an extraordinarily difficult task. Recently, a
generalization learning algorithm, Sharpness-Aware Minimization (SAM), has made
a great success in image classification task. Despite the great performance in
creating convex space, proper direction leading by SAM is still remained
unclear. We, thereby, propose a creating a Unit Vector space in SAM, which not
only consisted of the mathematical instinct in linear algebra but also kept the
advantages of adaptive gradient algorithm. Moreover, applying SAM in unit
gradient brings models competitive performances in image classification
datasets, such as CIFAR - {10, 100}. The experiment showed that it performed
even better and more robust than SAM.
- Abstract(参考訳): 機械学習では、主に勾配降下法を用いて損失の最小値を求めることで最適化が行われている。
しかし、特に深層学習において、非凸損失関数から高次元空間を横断する大域的最小値を見つけることは、非常に難しい課題である。
近年,画像分類タスクにおいて,一般化学習アルゴリズム SAM (Sharpness-Aware Minimization) が大きな成功を収めている。
凸空間の作成における優れた性能にもかかわらず、SAMによって導かれる適切な方向はまだ不明である。
そこで我々は,線形代数の数学的本能だけでなく,適応勾配アルゴリズムの利点も持つSAMにおける単位ベクトル空間の創出を提案する。
さらに、SAMを単位勾配に適用すると、CIFAR - {10, 100} のような画像分類データセットにおいて、競合する性能が得られる。
実験の結果、SAMよりも優れた、より堅牢な性能を示した。
関連論文リスト
- Stabilizing Sharpness-aware Minimization Through A Simple
Renormalization Strategy [12.927965934262847]
シャープネス・アウェア(SAM)を用いたニューラルネットワークのトレーニングは非常に不安定である。
そこで我々は、StableSAMと呼ばれる単純な再正規化戦略を提案し、従順勾配のノルムが正確な勾配のノルムを維持する。
本稿は,StableSAMが学習率のこの仕組みをどのように拡張し,SAMを微調整で一貫した性能を実現できるかを示す。
論文 参考訳(メタデータ) (2024-01-14T10:53:36Z) - TinySAM: Pushing the Envelope for Efficient Segment Anything Model [76.21007576954035]
我々は,強力なゼロショット性能を維持しつつ,小さなセグメントの任意のモデル(TinySAM)を得るためのフレームワークを提案する。
本研究は,まず,軽量学生モデルを蒸留するためのハードプロンプトサンプリングとハードマスク重み付け戦略を用いた,フルステージの知識蒸留法を提案する。
また、学習後の量子化を高速化可能なセグメンテーションタスクに適用し、計算コストをさらに削減する。
論文 参考訳(メタデータ) (2023-12-21T12:26:11Z) - Class Gradient Projection For Continual Learning [99.105266615448]
破滅的な忘れは継続的学習(CL)における最も重要な課題の1つです。
タスクではなく個々のクラスから勾配部分空間を計算するクラスグラディエント・プロジェクション(CGP)を提案する。
論文 参考訳(メタデータ) (2023-11-25T02:45:56Z) - Systematic Investigation of Sparse Perturbed Sharpness-Aware
Minimization Optimizer [158.2634766682187]
ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。
SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。
本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
論文 参考訳(メタデータ) (2023-06-30T09:33:41Z) - Efficient Generalization Improvement Guided by Random Weight
Perturbation [24.027159739234524]
Gruesome-aware Minimization (SAM)は、一般化の改善のための一般的なスキームを確立する。
我々は、SAMのネスト勾配を分離するために、フィルタワイズランダムウェイト摂動(RWP)を利用する。
我々は、CIFAR上での非常に競争力のあるパフォーマンスと、ImageNet上での極めて優れたパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2022-11-21T14:24:34Z) - Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation
Approach [132.37966970098645]
人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。
本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。
さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
論文 参考訳(メタデータ) (2022-10-11T06:30:10Z) - Towards Efficient and Scalable Sharpness-Aware Minimization [81.22779501753695]
内部勾配の上昇を周期的に計算する新しいアルゴリズム LookSAM を提案する。
LookSAMはSAMと同じような精度を実現し、非常に高速である。
Vision Transformer(ViTs)のトレーニングでバッチサイズのスケールアップに成功したのは,私たちが初めてです。
論文 参考訳(メタデータ) (2022-03-05T11:53:37Z) - SA-GD: Improved Gradient Descent Learning Strategy with Simulated
Annealing [0.7614628596146599]
本稿では,機械学習問題を解決するためのSA-GDアルゴリズムを提案する。
SA-GDのモデルは効率を犠牲にすることなくより優れた学習能力を有する。
論文 参考訳(メタデータ) (2021-07-15T18:38:11Z) - Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。
シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。
SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
論文 参考訳(メタデータ) (2020-10-03T19:02:10Z) - Taming GANs with Lookahead-Minmax [63.90038365274479]
MNIST, SVHN, CIFAR-10, ImageNetによる実験結果から, Lookahead-minmaxとAdam, Exgradientの併用が明らかとなった。
30倍のパラメータと16倍のミニバッチを使用して、クラスラベルを使わずに12.19のFIDを得ることにより、CIFAR-10上でクラス依存のBigGANのパフォーマンスを上回ります。
論文 参考訳(メタデータ) (2020-06-25T17:13:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。