論文の概要: Gradient constrained sharpness-aware prompt learning for vision-language models

• arxiv url: http://arxiv.org/abs/2309.07866v1
• Date: Thu, 14 Sep 2023 17:13:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 12:04:02.327379
• Title: Gradient constrained sharpness-aware prompt learning for vision-language models
• Title（参考訳）: 勾配制約付きシャープネス認識による視覚言語モデルの学習
• Authors: Liangchen Liu, Nannan Wang, Dawei Zhou, Xinbo Gao, Decheng Liu, Xi Yang, Tongliang Liu
• Abstract要約: 本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法と広く使われているシャープネス認識最小化(SAM)の損失景観を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,最適化勾配を動的に制約する新しいSAM学習手法を提案し,その手法をGCSCoOp(Gradient Constrained Sharpness-aware Context Optimization)と呼ぶ。
• 参考スコア（独自算出の注目度）: 99.74832984957025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper targets a novel trade-off problem in generalizable prompt learning for vision-language models (VLM), i.e., improving the performance on unseen classes while maintaining the performance on seen classes. Comparing with existing generalizable methods that neglect the seen classes degradation, the setting of this problem is more strict and fits more closely with practical applications. To solve this problem, we start from the optimization perspective, and leverage the relationship between loss landscape geometry and model generalization ability. By analyzing the loss landscape of the state-of-the-art method and the widely-used Sharpness-aware Minimization (SAM), we conclude that the trade-off performance correlates to both loss value and loss sharpness, while each of them are indispensable. However, we find the optimizing gradient of existing methods cannot always maintain high consistency with both loss value and loss sharpness during the whole optimization procedure. To this end, we propose an novel SAM-based method for prompt learning, denoted as Gradient Constrained Sharpness-aware Context Optimization (GCSCoOp), to dynamically constrains the optimizing gradient, thus achieving above two-fold optimization objective simultaneously. Extensive experiments verify the effectiveness of GCSCoOp in the trade-off problem.
• Abstract（参考訳）: 本稿では,視覚言語モデル (vlm) の汎用的プロンプト学習における新たなトレードオフ問題,すなわち見掛けたクラスの性能を維持しつつ,見当たらないクラスの性能を向上させることを目的とした。 クラス劣化を無視する既存の一般化可能な手法と比較して、この問題の設定はより厳密であり、実用的な応用とより密に適合する。 この問題を解決するために、最適化の観点から始め、損失景観幾何学とモデル一般化能力の関係を利用する。 最先端手法と広く使われているシャープネス認識最小化(SAM)の損失景観を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関し、それぞれが不可欠であると結論付けた。 しかし,既存の手法の最適化勾配は,最適化手順全体において損失値と損失シャープ性の両方において,常に高い一貫性を維持できないことがわかった。 そこで本研究では、最適化勾配を動的に制約するグラディエント制約付きシャープネス対応コンテキスト最適化(GCSCoOp)を新たに提案し、2倍の最適化目標を同時に達成する。 トレードオフ問題におけるGCSCoOpの有効性を検証する。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Neural Networks with Quantization Constraints [111.42313650830248]
  量子化学習における制約付き学習手法を提案する。 結果の問題は強い双対であり、勾配推定は不要であることを示す。 提案手法は画像分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-27T17:12:48Z)
• Penalizing Gradient Norm for Efficiently Improving Generalization in Deep Learning [13.937644559223548]
  ディープニューラルネットワーク(DNN)をうまく一般化するためのトレーニング方法が、ディープラーニングの中心的な関心事である。 最適化時の損失関数の勾配ノルムをペナルティ化することにより,モデル一般化を効果的に向上する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:03:45Z)
• ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks [2.8292841621378844]
  スケール不変の適応シャープネスの概念を導入し、対応する一般化境界を提案する。 本稿では,適応的シャープネス認識最小化(ASAM)という新たな学習手法を提案する。 各種ベンチマークデータセットの実験結果から,ASAMはモデル一般化性能の大幅な向上に寄与することが示された。
  論文  参考訳（メタデータ） (2021-02-23T10:26:54Z)
• Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning [94.35586521144117]
  コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。 本研究では,コントラスト正規化調律(core-tuning)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T16:31:24Z)
• Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
  本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。 シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-03T19:02:10Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。