論文の概要: RSAM: Learning on manifolds with Riemannian Sharpness-aware Minimization
- arxiv url: http://arxiv.org/abs/2309.17215v1
- Date: Fri, 29 Sep 2023 13:14:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 13:57:07.595269
- Title: RSAM: Learning on manifolds with Riemannian Sharpness-aware Minimization
- Title(参考訳): RSAM:リーマンシャープネスを考慮した多様体の学習
- Authors: Tuan Truong, Hoang-Phi Nguyen, Tung Pham, Minh-Tuan Tran, Mehrtash
Harandi, Dinh Phung, Trung Le
- Abstract要約: 制約付き最適化問題に対するロバストネスと一般化能力を改善するための新しい手法を提案する。
我々はRSAM(Riemannian Sharpness-Aware Minimization)というアルゴリズムを導入する。
一般化能力を高めるRSAMの能力を実証するため,画像分類やコントラスト学習を含む幅広い問題に対して,我々のアルゴリズムを評価・比較する。
- 参考スコア(独自算出の注目度): 37.515131384121204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nowadays, understanding the geometry of the loss landscape shows promise in
enhancing a model's generalization ability. In this work, we draw upon prior
works that apply geometric principles to optimization and present a novel
approach to improve robustness and generalization ability for constrained
optimization problems. Indeed, this paper aims to generalize the
Sharpness-Aware Minimization (SAM) optimizer to Riemannian manifolds. In doing
so, we first extend the concept of sharpness and introduce a novel notion of
sharpness on manifolds. To support this notion of sharpness, we present a
theoretical analysis characterizing generalization capabilities with respect to
manifold sharpness, which demonstrates a tighter bound on the generalization
gap, a result not known before. Motivated by this analysis, we introduce our
algorithm, Riemannian Sharpness-Aware Minimization (RSAM). To demonstrate
RSAM's ability to enhance generalization ability, we evaluate and contrast our
algorithm on a broad set of problems, such as image classification and
contrastive learning across different datasets, including CIFAR100, CIFAR10,
and FGVCAircraft. Our code is publicly available at
\url{https://t.ly/RiemannianSAM}.
- Abstract(参考訳): 現在、損失景観の幾何学を理解することは、モデルの一般化能力を高めることに有望である。
本研究では,最適化に幾何学的原理を適用し,制約付き最適化問題に対するロバストネスと一般化能力を改善するための新しいアプローチを提案する。
実際、本論文はシャープネス・アウェア最小化(SAM)最適化をリーマン多様体に一般化することを目的としている。
その際、まずシャープネスの概念を拡張し、多様体上のシャープネスという新しい概念を導入する。
このシャープネスの概念を支持するために、多様体のシャープネスに関して一般化能力を特徴づける理論解析を行い、一般化ギャップに強く縛られていることを示す。
この分析により,RSAM (Riemannian Sharpness-Aware Minimization) というアルゴリズムを導入した。
一般化能力を高めるRSAMの能力を実証するため,CIFAR100,CIFAR10,FGVCAircraftなど,さまざまなデータセットを対象とした画像分類やコントラスト学習など,幅広い問題に対して,アルゴリズムの評価と対比を行った。
我々のコードは \url{https://t.ly/RiemannianSAM} で公開されている。
関連論文リスト
- Closing the Gap: Achieving Global Convergence (Last Iterate) of Actor-Critic under Markovian Sampling with Neural Network Parametrization [40.4401813726949]
Actor-Critic (AC)アルゴリズムの最近の理論的解析は、AC実装の実践的な側面に対処する上での遅延である。
我々は,5つの重要な実践的側面をすべて包含するACアルゴリズムの包括的理論的解析を行った。
論文 参考訳(メタデータ) (2024-05-03T04:26:03Z) - Gradient constrained sharpness-aware prompt learning for vision-language
models [99.74832984957025]
本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。
最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。
本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
論文 参考訳(メタデータ) (2023-09-14T17:13:54Z) - Exploiting Diffusion Prior for Real-World Image Super-Resolution [81.0962494325732]
本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。
時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
論文 参考訳(メタデータ) (2023-05-11T17:55:25Z) - A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。
そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。
SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
論文 参考訳(メタデータ) (2023-03-06T14:31:09Z) - GA-SAM: Gradient-Strength based Adaptive Sharpness-Aware Minimization
for Improved Generalization [22.53923556656022]
Sharpness-Aware Minimization (SAM)アルゴリズムは、視覚タスクにおける最先端の一般化能力を示している。
SAMは、特にRNNのような劇的な変化を持つモデルにおいて、SAMを自然言語タスクに含めるのが困難である。
本稿では,GA-SAM(Adaptive Sharpness-Aware Minimization)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-10-13T10:44:10Z) - The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。
ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。
ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
論文 参考訳(メタデータ) (2022-06-14T12:30:11Z) - Sharpness-Aware Training for Free [163.1248341911413]
シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。
シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。
SAFは、改善された能力で最小限の平らな収束を保証する。
論文 参考訳(メタデータ) (2022-05-27T16:32:43Z) - Improving Generalization in Federated Learning by Seeking Flat Minima [23.937135834522145]
フェデレートされた設定で訓練されたモデルは、しばしば劣化したパフォーマンスに悩まされ、一般化に失敗する。
本研究では,損失の幾何レンズとヘッセン固有スペクトルを用いて,そのような挙動を考察する。
損失面のシャープさと一般化ギャップを接続する先行研究により,サーバ側のシャープネス・アウェア・最小化 (SAM) や適応バージョン (ASAM) をローカルにトレーニングすることで,一般化を大幅に改善できることが示されている。
論文 参考訳(メタデータ) (2022-03-22T16:01:04Z) - ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning
of Deep Neural Networks [2.8292841621378844]
スケール不変の適応シャープネスの概念を導入し、対応する一般化境界を提案する。
本稿では,適応的シャープネス認識最小化(ASAM)という新たな学習手法を提案する。
各種ベンチマークデータセットの実験結果から,ASAMはモデル一般化性能の大幅な向上に寄与することが示された。
論文 参考訳(メタデータ) (2021-02-23T10:26:54Z) - Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。
シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。
SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
論文 参考訳(メタデータ) (2020-10-03T19:02:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。