論文の概要: TRAM: Bridging Trust Regions and Sharpness Aware Minimization

• arxiv url: http://arxiv.org/abs/2310.03646v1
• Date: Thu, 5 Oct 2023 16:21:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 15:32:32.851508
• Title: TRAM: Bridging Trust Regions and Sharpness Aware Minimization
• Title（参考訳）: TRAM:ブリッジングトラスト領域とシャープネスの最小化
• Authors: Tom Sherborne, Naomi Saphra, Pradeep Dasigi, Hao Peng
• Abstract要約: 本研究は,表現の伝達可能性について,領域外一般化の最適化対象として考察する。 フラットな最小値とスムーズな情報表現を最適化する微調整アルゴリズムであるTRAMを提案する。 TRAMは、最小限の計算量で一般化可能なモデルを訓練する新しい標準を確立している。
• 参考スコア（独自算出の注目度）: 30.427478138049313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: By reducing the curvature of the loss surface in the parameter space, Sharpness-aware minimization (SAM) yields widespread robustness improvement under domain transfer. Instead of focusing on parameters, however, this work considers the transferability of representations as the optimization target for out-of-domain generalization in a fine-tuning setup. To encourage the retention of transferable representations, we consider trust region-based fine-tuning methods, which exploit task-specific skills without forgetting task-agnostic representations from pre-training. We unify parameter- and representation-space smoothing approaches by using trust region bounds to inform SAM-style regularizers on both of these optimization surfaces. We propose Trust Region Aware Minimization (TRAM), a fine-tuning algorithm that optimizes for flat minima and smooth, informative representations without forgetting pre-trained structure. We find that TRAM outperforms both sharpness-aware and trust region-based optimization methods on cross-domain language modeling and cross-lingual transfer, where robustness to domain transfer and representation generality are critical for success. TRAM establishes a new standard in training generalizable models with minimal additional computation.
• Abstract（参考訳）: パラメータ空間における損失面の曲率を小さくすることで、シャープネス認識最小化(SAM)はドメイン転送の下で広範囲に堅牢性向上をもたらす。 しかし、この研究はパラメータに焦点を当てる代わりに、微調整設定におけるドメイン外一般化の最適化対象として表現の転送可能性を考慮する。 伝達可能な表現の保持を促進するために,タスクに依存しない表現を事前学習から忘れずにタスク固有のスキルを活用する信頼領域ベースの微調整手法を検討する。 パラメータおよび表現空間の平滑化手法を信頼領域境界を用いて統一し、SAM型正規化器にこれらの最適化面を知らせる。 本稿では,フラットな最小値とスムーズな情報表現を事前学習された構造を忘れずに最適化する微調整アルゴリズムTRAMを提案する。 ドメイン転送と表現の汎用性が成功に不可欠であるクロスドメイン言語モデリングとクロスリンガルトランスファーにおいて、trampはシャープネス・アウェアネスと信頼領域に基づく最適化手法の両方よりも優れていることが分かりました。 TRAMは、最小限の計算量で一般化可能なモデルを訓練する新しい標準を確立している。

関連論文リスト

• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Agnostic Sharpness-Aware Minimization [29.641227264358704]
  シャープネス認識(SAM)は、トレーニング損失とロスランドスケープのシャープネスを最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 Model-Agnostic Meta-Learning (MAML)は、モデルの適応性を改善するために設計されたフレームワークである。 我々はSAMとMAMLの両方の原則を組み合わせた新しいアプローチであるAgnostic-SAMを紹介する。
  論文  参考訳（メタデータ） (2024-06-11T09:49:00Z)
• Revisiting the Robustness of the Minimum Error Entropy Criterion: A Transfer Learning Case Study [16.07380451502911]
  本稿では,非ガウス雑音に対処する最小誤差エントロピー基準のロバスト性を再考する。 本稿では,分散シフトが一般的である実生活伝達学習回帰タスクの実現可能性と有用性について検討する。
  論文  参考訳（メタデータ） (2023-07-17T15:38:11Z)
• G-TRACER: Expected Sharpness Optimization [1.2183405753834562]
  G-TRACERは、平坦なミニマムを求めることによって一般化を促進し、一般化ベイズ目標の自然な漸進的な降下に基づく最適化への近似として音理論的基礎を持つ。 本手法は,非正規化対象の局所最小値近傍に収束し,多数のベンチマークコンピュータビジョンとNLPデータセット上での競合性能を示す。
  論文  参考訳（メタデータ） (2023-06-24T09:28:49Z)
• Sharpness-Aware Gradient Matching for Domain Generalization [84.14789746460197]
  ドメイン一般化(DG)の目標は、ソースドメインから他の見えないドメインに学習したモデルの一般化能力を強化することである。 最近開発されたシャープネス・アウェア最小化(SAM)法は、損失景観のシャープネス測定を最小化することで、この目標を達成することを目的としている。 モデルが小さな損失を伴って平らな最小値に収束することを保証するための2つの条件と,シャープネス・アウェア・グラディエントマッチング(SAGM)というアルゴリズムを提案する。 提案手法は5つのDGベンチマークにおける最先端の手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2023-03-18T07:25:12Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。