論文の概要: RSAM: Learning on manifolds with Riemannian Sharpness-aware Minimization

• arxiv url: http://arxiv.org/abs/2309.17215v1
• Date: Fri, 29 Sep 2023 13:14:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 13:57:07.595269
• Title: RSAM: Learning on manifolds with Riemannian Sharpness-aware Minimization
• Title（参考訳）: RSAM:リーマンシャープネスを考慮した多様体の学習
• Authors: Tuan Truong, Hoang-Phi Nguyen, Tung Pham, Minh-Tuan Tran, Mehrtash Harandi, Dinh Phung, Trung Le
• Abstract要約: 制約付き最適化問題に対するロバストネスと一般化能力を改善するための新しい手法を提案する。 我々はRSAM(Riemannian Sharpness-Aware Minimization)というアルゴリズムを導入する。 一般化能力を高めるRSAMの能力を実証するため,画像分類やコントラスト学習を含む幅広い問題に対して,我々のアルゴリズムを評価・比較する。
• 参考スコア（独自算出の注目度）: 37.515131384121204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nowadays, understanding the geometry of the loss landscape shows promise in enhancing a model's generalization ability. In this work, we draw upon prior works that apply geometric principles to optimization and present a novel approach to improve robustness and generalization ability for constrained optimization problems. Indeed, this paper aims to generalize the Sharpness-Aware Minimization (SAM) optimizer to Riemannian manifolds. In doing so, we first extend the concept of sharpness and introduce a novel notion of sharpness on manifolds. To support this notion of sharpness, we present a theoretical analysis characterizing generalization capabilities with respect to manifold sharpness, which demonstrates a tighter bound on the generalization gap, a result not known before. Motivated by this analysis, we introduce our algorithm, Riemannian Sharpness-Aware Minimization (RSAM). To demonstrate RSAM's ability to enhance generalization ability, we evaluate and contrast our algorithm on a broad set of problems, such as image classification and contrastive learning across different datasets, including CIFAR100, CIFAR10, and FGVCAircraft. Our code is publicly available at \url{https://t.ly/RiemannianSAM}.
• Abstract（参考訳）: 現在、損失景観の幾何学を理解することは、モデルの一般化能力を高めることに有望である。 本研究では,最適化に幾何学的原理を適用し,制約付き最適化問題に対するロバストネスと一般化能力を改善するための新しいアプローチを提案する。 実際、本論文はシャープネス・アウェア最小化(SAM)最適化をリーマン多様体に一般化することを目的としている。 その際、まずシャープネスの概念を拡張し、多様体上のシャープネスという新しい概念を導入する。 このシャープネスの概念を支持するために、多様体のシャープネスに関して一般化能力を特徴づける理論解析を行い、一般化ギャップに強く縛られていることを示す。 この分析により,RSAM (Riemannian Sharpness-Aware Minimization) というアルゴリズムを導入した。 一般化能力を高めるRSAMの能力を実証するため,CIFAR100,CIFAR10,FGVCAircraftなど,さまざまなデータセットを対象とした画像分類やコントラスト学習など,幅広い問題に対して,アルゴリズムの評価と対比を行った。 我々のコードは \url{https://t.ly/RiemannianSAM} で公開されている。

関連論文リスト

• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
  我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。 これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T01:52:09Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• GA-SAM: Gradient-Strength based Adaptive Sharpness-Aware Minimization for Improved Generalization [22.53923556656022]
  Sharpness-Aware Minimization (SAM)アルゴリズムは、視覚タスクにおける最先端の一般化能力を示している。 SAMは、特にRNNのような劇的な変化を持つモデルにおいて、SAMを自然言語タスクに含めるのが困難である。 本稿では,GA-SAM(Adaptive Sharpness-Aware Minimization)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-13T10:44:10Z)
• The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
  本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。 ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。 ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
  論文  参考訳（メタデータ） (2022-06-14T12:30:11Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Improving Generalization in Federated Learning by Seeking Flat Minima [23.937135834522145]
  フェデレートされた設定で訓練されたモデルは、しばしば劣化したパフォーマンスに悩まされ、一般化に失敗する。 本研究では,損失の幾何レンズとヘッセン固有スペクトルを用いて,そのような挙動を考察する。 損失面のシャープさと一般化ギャップを接続する先行研究により,サーバ側のシャープネス・アウェア・最小化 (SAM) や適応バージョン (ASAM) をローカルにトレーニングすることで,一般化を大幅に改善できることが示されている。
  論文  参考訳（メタデータ） (2022-03-22T16:01:04Z)
• ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks [2.8292841621378844]
  スケール不変の適応シャープネスの概念を導入し、対応する一般化境界を提案する。 本稿では,適応的シャープネス認識最小化(ASAM)という新たな学習手法を提案する。 各種ベンチマークデータセットの実験結果から,ASAMはモデル一般化性能の大幅な向上に寄与することが示された。
  論文  参考訳（メタデータ） (2021-02-23T10:26:54Z)
• Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
  本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。 シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-03T19:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。