論文の概要: Concept-wise Fine-tuning Matters in Preventing Negative Transfer
- arxiv url: http://arxiv.org/abs/2311.06868v1
- Date: Sun, 12 Nov 2023 14:58:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 16:29:38.243842
- Title: Concept-wise Fine-tuning Matters in Preventing Negative Transfer
- Title（参考訳）: 負転移防止における微調整概念
- Authors: Yunqiao Yang, Long-Kai Huang, Ying Wei
- Abstract要約: 既訓練モデルにおける2種類の低性能特徴による負の伝達を緩和するには,オフザシェルフファインタニング技術は不十分である。
本稿では,概念を符号化するパッチのレベルで特徴表現を洗練するコンセプトワイド微調整(Concept-Tuning)手法を提案する。
- 参考スコア（独自算出の注目度）: 17.060892283250215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A multitude of prevalent pre-trained models mark a major milestone in the
development of artificial intelligence, while fine-tuning has been a common
practice that enables pretrained models to figure prominently in a wide array
of target datasets. Our empirical results reveal that off-the-shelf finetuning
techniques are far from adequate to mitigate negative transfer caused by two
types of underperforming features in a pre-trained model, including rare
features and spuriously correlated features. Rooted in structural causal models
of predictions after fine-tuning, we propose a Concept-wise fine-tuning
(Concept-Tuning) approach which refines feature representations in the level of
patches with each patch encoding a concept. Concept-Tuning minimizes the
negative impacts of rare features and spuriously correlated features by (1)
maximizing the mutual information between examples in the same category with
regard to a slice of rare features (a patch) and (2) applying front-door
adjustment via attention neural networks in channels and feature slices
(patches). The proposed Concept-Tuning consistently and significantly (by up to
4.76%) improves prior state-of-the-art fine-tuning methods on eleven datasets,
diverse pre-training strategies (supervised and self-supervised ones), various
network architectures, and sample sizes in a target dataset.
- Abstract（参考訳）: 多数のトレーニング済みの事前学習モデルが人工知能の開発において大きなマイルストーンを告げる一方で、微調整は、トレーニング済みモデルをさまざまなターゲットデータセットで目立たせるようにするための一般的なプラクティスである。
実験結果から,市販のファインタニング技術は,未学習モデルにおける2種類の低性能特徴,稀な特徴,急激な相関特徴などによる負の伝達を軽減できないことがわかった。
微調整後の予測の構造的因果モデルに根ざし,各パッチが概念を符号化するパッチのレベルで特徴表現を洗練する概念的微調整(概念調整)アプローチを提案する。
概念チューニングは,(1) 稀な特徴のスライス(パッチ)と(2) チャネルや特徴スライス(パッチ)における注目ニューラルネットワークによる前向きの調整を同一カテゴリの事例間の相互情報を最大化することにより,稀な特徴の負の影響を最小化し,素早い相関性を持たせる。
提案するコンセプトチューニングは,11個のデータセットの事前の微調整方法,さまざまな事前学習戦略(教師あり,自己教師あり),さまざまなネットワークアーキテクチャ,ターゲットデータセットのサンプルサイズを,一貫して,かつ(最大4.76%まで)大幅に改善する。
関連論文リスト
- HG-Adapter: Improving Pre-Trained Heterogeneous Graph Neural Networks with Dual Adapters [53.97380482341493]
事前学習, 即時学習」は, 事前学習したヘテロジニアスグラフニューラルネットワーク(HGNN)のチューニング性能を示す。
本稿では、2つの新しいアダプタと潜在的ラベル付きデータ拡張を組み合わせた統合フレームワークを提案し、事前学習されたHGNNモデルの一般化を改善する。
論文 参考訳（メタデータ） (2024-11-02T06:43:54Z) - Revisiting the Robust Generalization of Adversarial Prompt Tuning [4.033827046965844]
本稿では,画像とテキストの特徴のアライメントを高めるために,適応型一貫性誘導型適応型適応型適応プロンプトチューニング(CAPT)フレームワークを提案する。
我々は14のデータセットと4つのデータ空間をまたいだ実験を行い、CAPTが他の最先端の適応手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-05-18T02:54:41Z) - What Matters When Repurposing Diffusion Models for General Dense Perception Tasks? [49.84679952948808]
最近の研究は、高密度知覚タスクのためのT2I拡散モデルを簡単に調整することで有望な結果を示す。
拡散前処理における伝達効率と性能に影響を及ぼす重要な要因を徹底的に検討する。
我々の研究は、濃密な視覚認知タスクに特化した効果的な決定論的ワンステップ微調整パラダイムであるGenPerceptの開発において頂点に達した。
論文 参考訳（メタデータ） (2024-03-10T04:23:24Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。
本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。
提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
論文 参考訳（メタデータ） (2022-12-09T03:58:22Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Unleashing the Power of Contrastive Self-Supervised Visual Models via
Contrast-Regularized Fine-Tuning [94.35586521144117]
コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。
本研究では,コントラスト正規化調律(core-tuning)を提案する。
論文 参考訳（メタデータ） (2021-02-12T16:31:24Z) - Towards Trustworthy Predictions from Deep Neural Networks with Fast
Adversarial Calibration [2.8935588665357077]
本稿では,ドメインシフト後に得られたサンプルに対して,信頼度の高い信頼度を得るための効率的かつ汎用的なモデリング手法を提案する。
本稿では,エントロピー増大損失項と逆キャリブレーション損失項を組み合わせた新しいトレーニング戦略を導入し,この結果が適切に調整され,技術的に信頼できる予測となることを示す。
論文 参考訳（メタデータ） (2020-12-20T13:39:29Z) - Bi-tuning of Pre-trained Representations [79.58542780707441]
Bi-tuningは、教師付きと教師なしの両方の事前訓練された表現を下流タスクに微調整するための一般的な学習フレームワークである。
バイチューニングは、事前訓練された表現のバックボーンに2つのヘッドを統合することで、バニラファインチューニングを一般化する。
バイチューニングは、教師付きモデルと教師なしモデルの両方の微調整タスクを大きなマージンで達成する。
論文 参考訳（メタデータ） (2020-11-12T03:32:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。