論文の概要: Sharpness-Aware Teleportation on Riemannian Manifolds

• arxiv url: http://arxiv.org/abs/2309.17215v2
• Date: Sun, 08 Jun 2025 22:02:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:08.127502
• Title: Sharpness-Aware Teleportation on Riemannian Manifolds
• Title（参考訳）: リーマン多様体上のシャープネスを考慮したテレポーテーション
• Authors: Tuan Truong, Hoang-Phi Nguyen, Haocheng Luo, Tung Pham, Mehrtash Harandi, Dinh Phung, Trung Le,
• Abstract要約: 我々は,反復と一般化を強化するために,新しいシャープネス・アウェア・ジオメトリ・アウェア・テレポーテーション機構を導入する。 本手法は,人口減少と最悪の事例的損失の間の一般化ギャップを解析する理論的枠組みに基づくものである。
• 参考スコア（独自算出の注目度）: 35.966065527300856
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent studies highlight the effectiveness of flat minima in enhancing generalization, with sharpness-aware minimization (SAM) achieving state-of-the-art performance. Additionally, insights into the intrinsic geometry of the loss landscape have shown promise for improving model generalization. Building on these advancements, we introduce a novel sharpness-aware, geometry-aware teleportation mechanism to further enhance robustness and generalization. The core innovation of our approach is to decompose each iteration into a teleportation step within a local orbit and a sharpness-aware step that transitions between different orbits, leveraging the Riemannian quotient manifold. Our approach is grounded in a theoretical framework that analyzes the generalization gap between population loss and worst-case empirical loss within the context of Riemannian manifolds. To demonstrate the effectiveness of our method, we evaluate and compare our algorithm on diverse vision benchmarks with various datasets and Riemannian manifolds.
• Abstract（参考訳）: 近年の研究では、最先端の性能を達成するためのシャープネス・アウェアの最小化(SAM)による、一般化の促進におけるフラット・ミニマの有効性を強調している。 さらに、ロスランドスケープの本質的な幾何学に関する洞察は、モデル一般化を改善することを約束している。 これらの進歩に基づいて,ロバストネスと一般化をさらに向上させるために,新しいシャープネス・アウェア・ジオメトリー・アウェア・テレポーテーション機構を導入する。 このアプローチの核となる革新は、各反復を局所軌道内のテレポーテーションステップと異なる軌道間で遷移するシャープネス対応ステップに分解し、リーマン商多様体を活用することである。 我々のアプローチは、リーマン多様体の文脈における人口減少と最悪の場合の実証的損失の間の一般化ギャップを解析する理論的枠組みに基づいている。 提案手法の有効性を実証するため,多種多様な視覚ベンチマークを用いて,様々なデータセットやリーマン多様体との比較を行った。

関連論文リスト

• Sharpness-Aware Minimization: General Analysis and Improved Rates [10.11126899274029]
  Sharpness-Aware Minimization (SAM) は機械学習モデルの一般化を改善する強力な方法として登場した。 本稿では,SAMとその非正規化変動規則(USAM)を1回の更新で解析する。 我々は、より自然に緩和された仮定の下で、新しいサイズの結果を示す。
  論文  参考訳（メタデータ） (2025-03-04T03:04:06Z)
• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
  我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。 これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T01:52:09Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• GA-SAM: Gradient-Strength based Adaptive Sharpness-Aware Minimization for Improved Generalization [22.53923556656022]
  Sharpness-Aware Minimization (SAM)アルゴリズムは、視覚タスクにおける最先端の一般化能力を示している。 SAMは、特にRNNのような劇的な変化を持つモデルにおいて、SAMを自然言語タスクに含めるのが困難である。 本稿では,GA-SAM(Adaptive Sharpness-Aware Minimization)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-13T10:44:10Z)
• The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
  本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。 ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。 ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
  論文  参考訳（メタデータ） (2022-06-14T12:30:11Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Improving Generalization in Federated Learning by Seeking Flat Minima [23.937135834522145]
  フェデレートされた設定で訓練されたモデルは、しばしば劣化したパフォーマンスに悩まされ、一般化に失敗する。 本研究では,損失の幾何レンズとヘッセン固有スペクトルを用いて,そのような挙動を考察する。 損失面のシャープさと一般化ギャップを接続する先行研究により,サーバ側のシャープネス・アウェア・最小化 (SAM) や適応バージョン (ASAM) をローカルにトレーニングすることで,一般化を大幅に改善できることが示されている。
  論文  参考訳（メタデータ） (2022-03-22T16:01:04Z)
• ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks [2.8292841621378844]
  スケール不変の適応シャープネスの概念を導入し、対応する一般化境界を提案する。 本稿では,適応的シャープネス認識最小化(ASAM)という新たな学習手法を提案する。 各種ベンチマークデータセットの実験結果から,ASAMはモデル一般化性能の大幅な向上に寄与することが示された。
  論文  参考訳（メタデータ） (2021-02-23T10:26:54Z)
• Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
  本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。 シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-03T19:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。