論文の概要: TRAM: Bridging Trust Regions and Sharpness Aware Minimization

• arxiv url: http://arxiv.org/abs/2310.03646v2
• Date: Tue, 12 Mar 2024 13:38:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 01:33:06.094189
• Title: TRAM: Bridging Trust Regions and Sharpness Aware Minimization
• Title（参考訳）: TRAM:ブリッジングトラスト領域とシャープネスの最小化
• Authors: Tom Sherborne, Naomi Saphra, Pradeep Dasigi, Hao Peng
• Abstract要約: Trust Region Aware Minimization (TRAM) は、パラメータのシャープさと、事前訓練された構造を保存するスムーズな情報表現のためのSAMアルゴリズムである。 我々は、堅牢なドメイン転送と表現の一般化が重要となる視覚(データセット間の適応)およびテキストタスクにおいて、TRAMを実証的に検証する。
• 参考スコア（独自算出の注目度）: 30.427478138049313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sharpness-aware minimization (SAM) reports improving domain generalization by reducing the loss surface curvature in the parameter space. However, generalization during fine-tuning is often more dependent on the transferability of representations in the function space. Trust-region methods (TR) target this goal by regularizing representation curvature to reduce catastrophic forgetting of pre-trained task-agnostic information while adopting task-specific skills. We consider unifying these strategies for low curvature in both parameter space and function space to improve out-of-domain (OOD) generalization. We propose Trust Region Aware Minimization (TRAM), a SAM algorithm fine-tuning for low parameter sharpness and smooth, informative representations preserving pre-trained structure. TRAM uses a trust region bound to inform the SAM adversarial neighborhood, introducing an awareness of function curvature within optimization for flatter minima. We empirically validate TRAM in vision (cross-dataset adaptation) and text (OOD language modeling, zero-shot cross-lingual transfer) tasks where robust domain transfer and representation generality are critical. TRAM outperforms SAM- and TR-based optimization across all tasks, notably surpassing competing methods for hard transfer between anticorrelated domains. TRAM establishes a novel standard in fine-tuning for domain-generalizable models with minimal additional computation over previous sharpness-aware methods.
• Abstract（参考訳）: シャープネス対応最小化(SAM)は、パラメータ空間における損失面曲率を低減し、領域一般化を改善することを報告している。 しかし、微調整中の一般化は、しばしば函数空間における表現の転送可能性に依存する。 信頼領域法(TR)は、タスク固有のスキルを採用しながら、事前訓練されたタスクに依存しない情報の破滅的な忘れを減らし、表現曲率を規則化する。 パラメータ空間と関数空間の両方において、これらの戦略を低曲率に統一し、領域外一般化(OOD)を改善することを検討する。 本稿では,パラメータのシャープさを低減し,事前学習した構造を保存したスムーズな情報表現を実現するSAMアルゴリズムTRAMを提案する。 TRAM は SAM の対角線近傍に情報を伝達する信頼領域を用いており、フラットなミニマの最適化における関数曲率の認識を導入している。 視覚(クロスデータセット適応)とテキスト(ood言語モデリング、ゼロショットクロスリンガルトランスファー)タスクにおいて、堅牢なドメイン転送と表現の汎用性が重要であることを実証的に検証した。 TRAMはSAMベースの最適化やTRベースの最適化よりも優れており、特に反相関ドメイン間のハードトランスファーの競合する手法を上回っている。 TRAMは、従来のシャープネス認識法よりも最小限の計算量で、ドメイン一般化可能なモデルの微調整において、新しい標準を確立している。

関連論文リスト

• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Agnostic Sharpness-Aware Minimization [29.641227264358704]
  シャープネス認識(SAM)は、トレーニング損失とロスランドスケープのシャープネスを最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 Model-Agnostic Meta-Learning (MAML)は、モデルの適応性を改善するために設計されたフレームワークである。 我々はSAMとMAMLの両方の原則を組み合わせた新しいアプローチであるAgnostic-SAMを紹介する。
  論文  参考訳（メタデータ） (2024-06-11T09:49:00Z)
• Revisiting the Robustness of the Minimum Error Entropy Criterion: A Transfer Learning Case Study [16.07380451502911]
  本稿では,非ガウス雑音に対処する最小誤差エントロピー基準のロバスト性を再考する。 本稿では,分散シフトが一般的である実生活伝達学習回帰タスクの実現可能性と有用性について検討する。
  論文  参考訳（メタデータ） (2023-07-17T15:38:11Z)
• G-TRACER: Expected Sharpness Optimization [1.2183405753834562]
  G-TRACERは、平坦なミニマムを求めることによって一般化を促進し、一般化ベイズ目標の自然な漸進的な降下に基づく最適化への近似として音理論的基礎を持つ。 本手法は,非正規化対象の局所最小値近傍に収束し,多数のベンチマークコンピュータビジョンとNLPデータセット上での競合性能を示す。
  論文  参考訳（メタデータ） (2023-06-24T09:28:49Z)
• Sharpness-Aware Gradient Matching for Domain Generalization [84.14789746460197]
  ドメイン一般化(DG)の目標は、ソースドメインから他の見えないドメインに学習したモデルの一般化能力を強化することである。 最近開発されたシャープネス・アウェア最小化(SAM)法は、損失景観のシャープネス測定を最小化することで、この目標を達成することを目的としている。 モデルが小さな損失を伴って平らな最小値に収束することを保証するための2つの条件と,シャープネス・アウェア・グラディエントマッチング(SAGM)というアルゴリズムを提案する。 提案手法は5つのDGベンチマークにおける最先端の手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2023-03-18T07:25:12Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。