論文の概要: Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for
Out-of-Domain Detection
- arxiv url: http://arxiv.org/abs/2305.13282v1
- Date: Mon, 22 May 2023 17:42:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 13:50:16.463236
- Title: Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for
Out-of-Domain Detection
- Title（参考訳）: 微調整は必要か?
事前学習された言語モデルは、ドメイン外検出にほぼ完璧である
- Authors: Rheeya Uppaal, Junjie Hu, Yixuan Li
- Abstract要約: アウト・オブ・ディストリビューション(OOD)検出は、テキスト上の信頼できる予測にとって重要なタスクである。
事前訓練された言語モデルによる微調整は、OOD検出器を導出するための事実上の手順である。
距離に基づく検出手法を用いて、事前学習した言語モデルは、分布シフトがドメイン変更を伴う場合、ほぼ完璧なOOD検出器であることを示す。
- 参考スコア（独自算出の注目度）: 28.810524375810736
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Out-of-distribution (OOD) detection is a critical task for reliable
predictions over text. Fine-tuning with pre-trained language models has been a
de facto procedure to derive OOD detectors with respect to in-distribution (ID)
data. Despite its common use, the understanding of the role of fine-tuning and
its necessity for OOD detection is largely unexplored. In this paper, we raise
the question: is fine-tuning necessary for OOD detection? We present a study
investigating the efficacy of directly leveraging pre-trained language models
for OOD detection, without any model fine-tuning on the ID data. We compare the
approach with several competitive fine-tuning objectives, and offer new
insights under various types of distributional shifts. Extensive evaluations on
8 diverse ID-OOD dataset pairs demonstrate near-perfect OOD detection
performance (with 0% FPR95 in many cases), strongly outperforming its
fine-tuned counterparts. We show that using distance-based detection methods,
pre-trained language models are near-perfect OOD detectors when the
distribution shift involves a domain change. Furthermore, we study the effect
of fine-tuning on OOD detection and identify how to balance ID accuracy with
OOD detection performance. Our code is publically available at
https://github.com/Uppaal/lm-ood.
- Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)検出は、テキスト上の信頼できる予測にとって重要なタスクである。
事前訓練された言語モデルによる微調整は、非分布(ID)データに対してOOD検出器を導出する事実上の手順である。
日常的な使用にもかかわらず、微調整の役割とOOD検出の必要性の理解はほとんど解明されていない。
本稿では,OOD検出に微調整が必要なのか,という疑問を提起する。
本稿では,OOD検出のための事前学習言語モデルを直接活用することの有効性について検討する。
提案手法をいくつかの競争的微調整目標と比較し,様々な種類の分散シフトの下で新たな洞察を提供する。
8種類のID-OODデータセットの大規模な評価は、ほぼ完全なOOD検出性能(多くの場合0% FPR95)を示し、微調整されたデータセットよりも優れていた。
距離に基づく検出手法を用いて,事前学習した言語モデルは,分布シフトが領域変化を伴う場合,ほぼ完全なood検出器であることを示す。
さらに,OOD検出に対する微調整の影響について検討し,OOD検出性能とID精度のバランスをとる方法について検討した。
私たちのコードはhttps://github.com/Uppaal/lm-ood.comで公開されています。
関連論文リスト
- Self-Calibrated Tuning of Vision-Language Models for Out-of-Distribution Detection [24.557227100200215]
オープンソースアプリケーションに信頼性の高い機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
近年のCLIPによるOOD検出の進歩は,IDデータから抽出したOOD特徴に即時調整を施すことによって有望な結果を示した。
提案手法は,SCT(Self-Calibrated Tuning)と呼ばれる新しいフレームワークで,与えられた数ショットのIDデータのみを用いて効果的なOOD検出を行う。
論文 参考訳（メタデータ） (2024-11-05T02:29:16Z) - Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。
Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。
複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
論文 参考訳（メタデータ） (2023-11-28T02:00:47Z) - Can Pre-trained Networks Detect Familiar Out-of-Distribution Data? [37.36999826208225]
PT-OODが事前学習ネットワークのOOD検出性能に及ぼす影響について検討した。
特徴空間におけるPT-OODの低線形分離性はPT-OOD検出性能を著しく低下させることがわかった。
本稿では,大規模事前学習モデルに対する一意な解を提案する。
論文 参考訳（メタデータ） (2023-10-02T02:01:00Z) - AUTO: Adaptive Outlier Optimization for Online Test-Time OOD Detection [81.49353397201887]
オープンソースアプリケーションに機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。
我々は、未ラベルのオンラインデータをテスト時に直接利用してOOD検出性能を向上させる、テスト時OOD検出と呼ばれる新しいパラダイムを導入する。
本稿では,入出力フィルタ,IDメモリバンク,意味的に一貫性のある目的からなる適応外乱最適化(AUTO)を提案する。
論文 参考訳（メタデータ） (2023-03-22T02:28:54Z) - Using Semantic Information for Defining and Detecting OOD Inputs [3.9577682622066264]
アウト・オブ・ディストリビューション(OOD)検出は近年注目されている。
現在の検出器がトレーニングデータセットのバイアスを継承していることを示します。
これにより、現在のOOD検出器はトレーニング分布の外にある入力に不透過であり、同じ意味情報を持つことができる。
我々は,MNISTおよびCOCOデータセットのトレーニングデータから抽出した意味情報に基づいてOOD検出を行う。
論文 参考訳（メタデータ） (2023-02-21T21:31:20Z) - Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is
All You Need [52.88953913542445]
簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。
我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
論文 参考訳（メタデータ） (2023-02-06T08:24:41Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳（メタデータ） (2022-10-17T14:32:02Z) - How Useful are Gradients for OOD Detection Really? [5.459639971144757]
Out of Distribution(OOD)検出は、リアルタイムアプリケーションに高性能な機械学習モデルをデプロイする上で重要な課題である。
OOD検出のための勾配法を詳細に解析し,比較する。
本稿では,OOD検出における性能と計算効率の両面において,従来のベースラインよりも向上した汎用的,非段階的なOOD検出手法を提案する。
論文 参考訳（メタデータ） (2022-05-20T21:10:05Z) - PnPOOD : Out-Of-Distribution Detection for Text Classification via Plug
andPlay Data Augmentation [25.276900899887192]
ドメイン外サンプル生成によるOOD検出を行うデータ拡張手法であるOODを提案する。
本手法は, クラス境界に近い高品質な識別サンプルを生成し, 精度の高いOOD検出を行う。
我々は、OOD検出に先立つ試みで使用されるデータセットで重要なデータ漏洩問題を強調し、同じ問題に悩まされないOOD検出のための新しいデータセットで結果を共有する。
論文 参考訳（メタデータ） (2021-10-31T14:02:26Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳（メタデータ） (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。