論文の概要: Quantified Task Misalignment to Inform PEFT: An Exploration of Domain Generalization and Catastrophic Forgetting in CLIP

• arxiv url: http://arxiv.org/abs/2402.09613v1
• Date: Wed, 14 Feb 2024 23:01:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 17:43:43.202096
• Title: Quantified Task Misalignment to Inform PEFT: An Exploration of Domain Generalization and Catastrophic Forgetting in CLIP
• Title（参考訳）: PEFTをインフォームするための定量化タスクミスアライメント:CLIPにおける領域一般化とカタストロフィックフォーミングの探索
• Authors: Laura Niss, Kevin Vogt-Lowell, Theodoros Tsiligkaridis
• Abstract要約: CLIPモデルにおけるタスクの難易度とパラメータ効率の単純な微調整手法の性能の関係を解析する。 注意重みのサブセットのみを訓練する手法は、A-CLIPと呼ばれ、領域一般化と破滅的忘れのバランスをとる。
• 参考スコア（独自算出の注目度）: 7.550566004119157
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Foundations models are presented as generalists that often perform well over a myriad of tasks. Fine-tuning these models, even on limited data, provides an additional boost in task-specific performance but often at the cost of their wider generalization, an effect termed catastrophic forgetting. In this paper, we analyze the relation between task difficulty in the CLIP model and the performance of several simple parameter-efficient fine-tuning methods through the lens of domain generalization and catastrophic forgetting. We provide evidence that the silhouette score of the zero-shot image and text embeddings is a better measure of task difficulty than the average cosine similarity of correct image/label embeddings, and discuss observable relationships between task difficulty, fine-tuning method, domain generalization, and catastrophic forgetting. Additionally, the averaged results across tasks and performance measures demonstrate that a simplified method that trains only a subset of attention weights, which we call A-CLIP, yields a balance between domain generalization and catastrophic forgetting.
• Abstract（参考訳）: 基礎モデルは、多くのタスクに対してよく機能するジェネラリストとして提示される。 これらのモデルの微調整は、限られたデータであっても、タスク固有のパフォーマンスがさらに向上するが、より広範な一般化のコストがかかる。 本稿では,CLIPモデルにおけるタスク難易度と,ドメイン一般化のレンズと破滅的忘れ込みのレンズによるパラメータ効率の高い微調整手法の性能の関係を解析する。 ゼロショット画像とテキスト埋め込みのシルエットスコアは、正しい画像/ラベル埋め込みの平均コサイン類似度よりもタスク難易度が良いことを示し、タスク難易度、微調整方法、ドメイン一般化、破滅的な忘れることの観察可能な関係について論じる。 さらに,A-CLIPと呼ばれる注意重みのサブセットのみを訓練する簡易な手法では,領域一般化と破滅的忘れ込みのバランスがとれることを示した。

関連論文リスト

• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Weakly-Supervised Cross-Domain Segmentation of Electron Microscopy with Sparse Point Annotation [1.124958340749622]
  カウント,検出,セグメンテーションタスク間の相関を利用したマルチタスク学習フレームワークを提案する。 ラベル拡張のためのクロスポジションカット・アンド・ペーストを開発し,エントロピーに基づく擬似ラベル選択を行う。 提案手法は, UDA法を著しく上回り, 教師付き手法と同等の性能を発揮する。
  論文  参考訳（メタデータ） (2024-03-31T12:22:23Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Task-guided Disentangled Tuning for Pretrained Language Models [16.429787408467703]
  本稿では,事前学習型言語モデル(PLM)のためのタスク誘導型ディスタングル型チューニング(TDT)を提案する。 TDTは、タスク関連信号を絡み合った表現から切り離すことにより、表現の一般化を強化する。 GLUE と CLUE のベンチマークによる実験結果から,TDT は異なる PLM を用いた微調整よりも一貫した結果が得られた。
  論文  参考訳（メタデータ） (2022-03-22T03:11:39Z)
• A Multi-Task Deep Learning Framework for Building Footprint Segmentation [0.0]
  足跡線構築タスクのための共同最適化方式を提案する。 また,画像再構成と建物足跡境界分割という2つの補助タスクも導入する。 特に、深層マルチタスク学習(MTL)ベースの統合完全畳み込みフレームワークを提案します。
  論文  参考訳（メタデータ） (2021-04-19T15:07:27Z)
• A Simple Baseline for Semi-supervised Semantic Segmentation with Strong Data Augmentation [74.8791451327354]
  セマンティックセグメンテーションのためのシンプルで効果的な半教師付き学習フレームワークを提案する。 単純な設計とトレーニングのテクニックのセットは、半教師付きセマンティックセグメンテーションの性能を大幅に向上させることができる。 本手法は,Cityscapes と Pascal VOC データセットの半教師付き設定において,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2021-04-15T06:01:39Z)
• Supervised Contrastive Learning for Pre-trained Language Model Fine-tuning [23.00300794016583]
  最先端の自然言語理解分類モデルは2段階に従う。 微調整段階に対する教師付きコントラスト学習(SCL)の目的を提案する。 提案した微調整目的は、微調整訓練データにおいて、異なるレベルのノイズに対してより堅牢なモデルに導かれる。
  論文  参考訳（メタデータ） (2020-11-03T01:10:39Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。