論文の概要: Sharpness-Aware Teleportation on Riemannian Manifolds

• arxiv url: http://arxiv.org/abs/2309.17215v2
• Date: Sun, 08 Jun 2025 22:02:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:08.127502
• Title: Sharpness-Aware Teleportation on Riemannian Manifolds
• Title（参考訳）: リーマン多様体上のシャープネスを考慮したテレポーテーション
• Authors: Tuan Truong, Hoang-Phi Nguyen, Haocheng Luo, Tung Pham, Mehrtash Harandi, Dinh Phung, Trung Le,
• Abstract要約: 我々は,反復と一般化を強化するために,新しいシャープネス・アウェア・ジオメトリ・アウェア・テレポーテーション機構を導入する。 本手法は,人口減少と最悪の事例的損失の間の一般化ギャップを解析する理論的枠組みに基づくものである。
• 参考スコア（独自算出の注目度）: 35.966065527300856
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent studies highlight the effectiveness of flat minima in enhancing generalization, with sharpness-aware minimization (SAM) achieving state-of-the-art performance. Additionally, insights into the intrinsic geometry of the loss landscape have shown promise for improving model generalization. Building on these advancements, we introduce a novel sharpness-aware, geometry-aware teleportation mechanism to further enhance robustness and generalization. The core innovation of our approach is to decompose each iteration into a teleportation step within a local orbit and a sharpness-aware step that transitions between different orbits, leveraging the Riemannian quotient manifold. Our approach is grounded in a theoretical framework that analyzes the generalization gap between population loss and worst-case empirical loss within the context of Riemannian manifolds. To demonstrate the effectiveness of our method, we evaluate and compare our algorithm on diverse vision benchmarks with various datasets and Riemannian manifolds.
• Abstract（参考訳）: 近年の研究では、最先端の性能を達成するためのシャープネス・アウェアの最小化(SAM)による、一般化の促進におけるフラット・ミニマの有効性を強調している。 さらに、ロスランドスケープの本質的な幾何学に関する洞察は、モデル一般化を改善することを約束している。 これらの進歩に基づいて,ロバストネスと一般化をさらに向上させるために,新しいシャープネス・アウェア・ジオメトリー・アウェア・テレポーテーション機構を導入する。 このアプローチの核となる革新は、各反復を局所軌道内のテレポーテーションステップと異なる軌道間で遷移するシャープネス対応ステップに分解し、リーマン商多様体を活用することである。 我々のアプローチは、リーマン多様体の文脈における人口減少と最悪の場合の実証的損失の間の一般化ギャップを解析する理論的枠組みに基づいている。 提案手法の有効性を実証するため,多種多様な視覚ベンチマークを用いて,様々なデータセットやリーマン多様体との比較を行った。

関連論文リスト

• Description of the Training Process of Neural Networks via Ergodic Theorem : Ghost nodes [3.637162892228131]
  本稿では、訓練勾配降下(SGD)による深層ニューラルネットワークの理解と加速のための統一的な枠組みを提案する。 我々は,安定剤に対する真の収束を識別する,最も大きなリャプノフ指数の実用診断,実行推定を導入する。 本稿では,補助的なゴースト出力ノードを付加した標準分類器のゴーストカテゴリ拡張を提案する。
  論文  参考訳（メタデータ） (2025-07-01T17:54:35Z)
• Sharper Convergence Rates for Nonconvex Optimisation via Reduction Mappings [34.309687104447114]
  目的の曲率特性をよく設計した縮小写像が向上し, より条件のよい問題や, 理論上は勾配に基づく手法の収束性が向上することを示した。 本分析は,最適化アルゴリズムで観測された経験的利得の原理的説明として,最適な構造情報を活用して収束を加速するシナリオを統一する。
  論文  参考訳（メタデータ） (2025-06-10T04:03:59Z)
• Geometrically Regularized Transfer Learning with On-Manifold and Off-Manifold Perturbation [0.0]
  MAADAは、敵の摂動をオン・マニフォールドとオフ・マニフォールドに分解する新しいフレームワークである。 また,MAADAは,教師なし設定と少数ショット設定の両方において,既存の敵・適応手法を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-05-21T07:13:09Z)
• Manifold Learning with Normalizing Flows: Towards Regularity, Expressivity and Iso-Riemannian Geometry [8.020732438595905]
  この研究は、マルチモーダル設定で発生する歪みやモデリングエラーに対処することに焦点を当てている。 本稿では,合成データと実データの両方を用いた数値実験において,提案手法の相乗効果を示す。
  論文  参考訳（メタデータ） (2025-05-12T21:44:42Z)
• Sharpness-Aware Minimization: General Analysis and Improved Rates [10.11126899274029]
  Sharpness-Aware Minimization (SAM) は機械学習モデルの一般化を改善する強力な方法として登場した。 本稿では,SAMとその非正規化変動規則(USAM)を1回の更新で解析する。 我々は、より自然に緩和された仮定の下で、新しいサイズの結果を示す。
  論文  参考訳（メタデータ） (2025-03-04T03:04:06Z)
• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• Amortized Posterior Sampling with Diffusion Prior Distillation [55.03585818289934]
  Amortized Posterior Smplingは、逆問題における効率的な後方サンプリングのための新しい変分推論手法である。 本手法は,拡散モデルにより暗黙的に定義された変動分布と後続分布とのばらつきを最小限に抑えるために条件付き流れモデルを訓練する。 既存の手法とは異なり、我々のアプローチは教師なしであり、ペア化されたトレーニングデータを必要としておらず、ユークリッドと非ユークリッドの両方のドメインに適用できる。
  論文  参考訳（メタデータ） (2024-07-25T09:53:12Z)
• Adaptive Adversarial Cross-Entropy Loss for Sharpness-Aware Minimization [2.8775022881551666]
  シャープネス・アウェアの最小化 (SAM) はモデル一般化を強化するために提案された。 SAMは2つの主要なステップ、重みの摂動ステップと重みの更新ステップから構成される。 本稿では、SAMの摂動に対する標準的なクロスエントロピー損失を置き換えるために、適応逆クロスエントロピー(AACE)損失関数を提案する。
  論文  参考訳（メタデータ） (2024-06-20T14:00:01Z)
• A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
  我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。 これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T01:52:09Z)
• Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning [83.41487567765871]
  Skipperはモデルベースの強化学習フレームワークである。 これは、与えられたタスクをより小さく、より管理しやすいサブタスクに自動的に一般化する。 環境の関連部分には、スパースな意思決定と集中した抽象化を可能にする。
  論文  参考訳（メタデータ） (2023-09-30T02:25:18Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• GA-SAM: Gradient-Strength based Adaptive Sharpness-Aware Minimization for Improved Generalization [22.53923556656022]
  Sharpness-Aware Minimization (SAM)アルゴリズムは、視覚タスクにおける最先端の一般化能力を示している。 SAMは、特にRNNのような劇的な変化を持つモデルにおいて、SAMを自然言語タスクに含めるのが困難である。 本稿では,GA-SAM(Adaptive Sharpness-Aware Minimization)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-13T10:44:10Z)
• The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
  本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。 ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。 ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
  論文  参考訳（メタデータ） (2022-06-14T12:30:11Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Improving Generalization in Federated Learning by Seeking Flat Minima [23.937135834522145]
  フェデレートされた設定で訓練されたモデルは、しばしば劣化したパフォーマンスに悩まされ、一般化に失敗する。 本研究では,損失の幾何レンズとヘッセン固有スペクトルを用いて,そのような挙動を考察する。 損失面のシャープさと一般化ギャップを接続する先行研究により,サーバ側のシャープネス・アウェア・最小化 (SAM) や適応バージョン (ASAM) をローカルにトレーニングすることで,一般化を大幅に改善できることが示されている。
  論文  参考訳（メタデータ） (2022-03-22T16:01:04Z)
• ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks [2.8292841621378844]
  スケール不変の適応シャープネスの概念を導入し、対応する一般化境界を提案する。 本稿では,適応的シャープネス認識最小化(ASAM)という新たな学習手法を提案する。 各種ベンチマークデータセットの実験結果から,ASAMはモデル一般化性能の大幅な向上に寄与することが示された。
  論文  参考訳（メタデータ） (2021-02-23T10:26:54Z)
• Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
  本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。 シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-03T19:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。