論文の概要: Model Reprogramming Outperforms Fine-tuning on Out-of-distribution Data in Text-Image Encoders
- arxiv url: http://arxiv.org/abs/2403.10800v2
- Date: Fri, 29 Mar 2024 20:34:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-02 13:44:58.865910
- Title: Model Reprogramming Outperforms Fine-tuning on Out-of-distribution Data in Text-Image Encoders
- Title（参考訳）: テキスト画像エンコーダにおける分布外データの微調整によるモデル再構成
- Authors: Andrew Geng, Pin-Yu Chen,
- Abstract要約: 本稿では,侵入的微調整技術に関連する隠れたコストを明らかにする。
ファインチューニングのための新しいモデル再プログラミング手法を導入し、それをリプログラマと呼ぶ。
我々の経験的証拠は、Re Programmerは侵入力が少なく、より優れた下流モデルが得られることを示している。
- 参考スコア（独自算出の注目度）: 56.47577824219207
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When evaluating the performance of a pre-trained model transferred to a downstream task, it is imperative to assess not only the in-distribution (ID) accuracy of the downstream model but also its capacity to generalize and identify out-of-distribution (OOD) samples. In this paper, we unveil the hidden costs associated with intrusive fine-tuning techniques. Specifically, we demonstrate that commonly used fine-tuning methods not only distort the representations necessary for generalizing to covariate-shifted OOD samples (OOD generalization) but also distort the representations necessary for detecting semantically-shifted OOD samples (OOD detection). To address these challenges, we introduce a new model reprogramming approach for fine-tuning, which we name Reprogrammer. Reprogrammer aims to improve the holistic performance of the downstream model across ID, OOD generalization, and OOD detection tasks. Our empirical evidence reveals that Reprogrammer is less intrusive and yields superior downstream models. Furthermore, we demonstrate that by appending an additional representation residual connection to Reprogrammer, we can further preserve pre-training representations, resulting in an even more safe and robust downstream model capable of excelling in many ID classification, OOD generalization, and OOD detection settings.
- Abstract（参考訳）: 下流タスクに移行した事前学習モデルの性能を評価する際には、下流モデルの分布内(ID)精度だけでなく、分布外(OOD)サンプルを一般化・識別する能力も評価することが不可欠である。
本稿では,侵入的微調整技術に関連する隠れたコストを明らかにする。
具体的には,covariate-shifted OOD サンプル(OOD 一般化)の一般化に必要な表現を歪曲するだけでなく,意味的にシフトした OOD サンプル(OOD 検出)を検出するために必要な表現を歪曲する。
これらの課題に対処するため、我々は細調整のための新しいモデル再プログラミング手法を導入し、それをリプログラマと呼ぶ。
Re Programmerは、ID、OOD一般化、OOD検出タスク間のダウンストリームモデルの全体的なパフォーマンスを改善することを目的としている。
我々の経験的証拠は、Re Programmerは侵入力が少なく、下流モデルに優れていることを示している。
さらに、Re Programmerに余分な表現接続を追加することで、トレーニング前の表現をさらに保存し、多くのID分類、OOD一般化、OOD検出設定に優れた、より安全で堅牢な下流モデルが得られることを示す。
関連論文リスト
- Non-Linear Outlier Synthesis for Out-of-Distribution Detection [5.019613806273252]
本稿では,拡散モデル埋め込み空間で直接操作することで,合成外乱器の品質を向上させるNCISを提案する。
これらの改良により,標準的な ImageNet100 および CIFAR100 ベンチマークにおいて,最先端の OOD 検出結果が得られた。
論文 参考訳（メタデータ） (2024-11-20T09:47:29Z) - Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。
OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。
この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
論文 参考訳（メタデータ） (2023-11-03T05:41:25Z) - Unsupervised Out-of-Distribution Detection by Restoring Lossy Inputs
with Variational Autoencoder [3.498694457257263]
OOD検出のための新しいVAEベースのスコアであるError Reduction(ER)を提案する。
ERは、トレーニングセットの損失バージョンを入力として、元のセットをターゲットとして、VAEに基づいています。
論文 参考訳（メタデータ） (2023-09-05T09:42:15Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳（メタデータ） (2023-06-06T14:23:34Z) - Watermarking for Out-of-distribution Detection [76.20630986010114]
Out-of-Distribution (OOD) 検出は、よく訓練された深層モデルから抽出された表現に基づいてOODデータを識別することを目的としている。
本稿では,透かしという一般的な手法を提案する。
我々は,元データの特徴に重畳される統一パターンを学習し,ウォーターマーキング後にモデルの検出能力が大きく向上する。
論文 参考訳（メタデータ） (2022-10-27T06:12:32Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳（メタデータ） (2022-10-17T14:32:02Z) - How Useful are Gradients for OOD Detection Really? [5.459639971144757]
Out of Distribution(OOD)検出は、リアルタイムアプリケーションに高性能な機械学習モデルをデプロイする上で重要な課題である。
OOD検出のための勾配法を詳細に解析し,比較する。
本稿では,OOD検出における性能と計算効率の両面において,従来のベースラインよりも向上した汎用的,非段階的なOOD検出手法を提案する。
論文 参考訳（メタデータ） (2022-05-20T21:10:05Z) - Energy-bounded Learning for Robust Models of Code [16.592638312365164]
プログラミングでは、コード表現の学習には、コード分類、コード検索、コメント生成、バグ予測など、さまざまなアプリケーションがある。
本稿では,ソースコードモデルのトレーニングプロセスにこれらのアウト・オブ・ディストリビューション・サンプルを組み込むため,エネルギー境界学習目標関数を用いて,イン・ディストリビューション・サンプルにより高いスコアを割り当て,アウト・オブ・ディストリビューション・サンプルに低いスコアを割り当てることを提案する。
論文 参考訳（メタデータ） (2021-12-20T06:28:56Z) - Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。
我々は,再建基準の代替として,異常スコアの代替尺度を提案した。
提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2020-03-24T08:26:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。