論文の概要: Fine-Tuning Deteriorates General Textual Out-of-Distribution Detection
by Distorting Task-Agnostic Features
- arxiv url: http://arxiv.org/abs/2301.12715v1
- Date: Mon, 30 Jan 2023 08:01:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 15:27:30.044540
- Title: Fine-Tuning Deteriorates General Textual Out-of-Distribution Detection
by Distorting Task-Agnostic Features
- Title(参考訳): タスク非依存的特徴の歪みによるテキストアウトオブディストリビューション検出の微調整による劣化
- Authors: Sishuo Chen, Wenkai Yang, Xiaohan Bi and Xu Sun
- Abstract要約: アウト・オブ・ディストリビューション(OOD)入力は、自然言語処理(NLP)モデルの安全なデプロイに不可欠である。
本研究は,意味的および非意味的変化を検出するための主流テキストOOD検出手法を評価するための第一歩である。
本稿では,タスク非依存およびタスク特化表現から得られた信頼スコアを統合する,GNOMEという単純なOODスコアを提案する。
- 参考スコア(独自算出の注目度): 14.325845491628087
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Detecting out-of-distribution (OOD) inputs is crucial for the safe deployment
of natural language processing (NLP) models. Though existing methods,
especially those based on the statistics in the feature space of fine-tuned
pre-trained language models (PLMs), are claimed to be effective, their
effectiveness on different types of distribution shifts remains underexplored.
In this work, we take the first step to comprehensively evaluate the mainstream
textual OOD detection methods for detecting semantic and non-semantic shifts.
We find that: (1) no existing method behaves well in both settings; (2)
fine-tuning PLMs on in-distribution data benefits detecting semantic shifts but
severely deteriorates detecting non-semantic shifts, which can be attributed to
the distortion of task-agnostic features. To alleviate the issue, we present a
simple yet effective general OOD score named GNOME that integrates the
confidence scores derived from the task-agnostic and task-specific
representations. Experiments show that GNOME works well in both semantic and
non-semantic shift scenarios, and further brings significant improvement on two
cross-task benchmarks where both kinds of shifts simultaneously take place. Our
code is available at https://github.com/lancopku/GNOME.
- Abstract(参考訳): 自然言語処理(NLP)モデルの安全なデプロイには,OOD入力の検出が不可欠である。
既存の手法、特に微調整事前訓練言語モデル(PLM)の特徴空間における統計に基づく手法は有効であると主張されているが、異なる種類の分散シフトに対する効果は未定である。
本研究は,意味的および非意味的変化を検出するための主流テキストOOD検出手法を包括的に評価する第一歩である。
1) 既存の手法は, 双方の環境では良好に動作せず, 2) セマンティックシフトを検出する不分配データに基づく微調整 PLM は, タスクに依存しない特徴の歪みに起因する非セマンティックシフトの検出を著しく劣化させる。
この問題を緩和するために,タスク非依存およびタスク特化表現から得られた信頼度を統合した,GNOMEという単純なOODスコアを提案する。
実験により、GNOMEはセマンティックシフトシナリオと非セマンティックシフトシナリオの両方でうまく機能し、同時に両方のシフトが実行される2つのクロスタスクベンチマークにおいて、さらに大幅に改善されることが示された。
私たちのコードはhttps://github.com/lancopku/GNOMEで利用可能です。
関連論文リスト
- Likelihood-Aware Semantic Alignment for Full-Spectrum
Out-of-Distribution Detection [24.145060992747077]
画像とテキストの対応を意味的に高次領域に促進する「Likelihood-Aware Semantic Alignment (LSA)フレームワーク」を提案する。
2つのF-OODベンチマークで15.26%$と18.88%$の差で既存の手法を上回り、提案したLSAの優れたOOD検出性能を実証した。
論文 参考訳(メタデータ) (2023-12-04T08:53:59Z) - ATTA: Anomaly-aware Test-Time Adaptation for Out-of-Distribution
Detection in Segmentation [22.084967085509387]
ドメインシフトとセマンティックシフトを協調的に扱うための二重レベルOOD検出フレームワークを提案する。
第1のレベルは、グローバルな低レベル機能を活用することで、画像内にドメインシフトが存在するかどうかを区別する。
第2のレベルは、高次特徴写像を高密度に利用することにより、セマンティックシフトを伴う画素を識別する。
論文 参考訳(メタデータ) (2023-09-12T06:49:56Z) - Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析
本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。
我々の手法は、最先端の手法をクリアマージンで上回る。
論文 参考訳(メタデータ) (2023-07-16T16:32:14Z) - Leveraging Hidden Positives for Unsupervised Semantic Segmentation [5.937673383513695]
隠れ陽性を抽出することで、コントラスト学習を活用して、豊かな意味関係を学習する。
隣接パッチ間のセマンティック一貫性を学習するための勾配伝搬戦略を導入する。
提案手法は,COCO-stuff,Cityscapes,Potsdam-3データセットにおけるSOTA(State-of-the-art)の新たな結果を実現する。
論文 参考訳(メタデータ) (2023-03-27T08:57:28Z) - Ambiguity-Resistant Semi-Supervised Learning for Dense Object Detection [98.66771688028426]
本研究では,一段階検出器のためのAmbiguity-Resistant Semi-supervised Learning (ARSL)を提案する。
擬似ラベルの分類とローカライズ品質を定量化するために,JCE(Joint-Confidence Estimation)を提案する。
ARSLは、曖昧さを効果的に軽減し、MS COCOおよびPASCALVOC上で最先端のSSOD性能を達成する。
論文 参考訳(メタデータ) (2023-03-27T07:46:58Z) - Background Matters: Enhancing Out-of-distribution Detection with Domain
Features [90.32910087103744]
OODサンプルは任意の分布から引き出すことができ、様々な次元における分布内(ID)データからの偏差を示す。
既存の方法は、ドメインの特徴のような他の次元を無視しながら、意味的特徴に基づいてOODサンプルを検出することに重点を置いている。
本稿では,IDトレーニングサンプルからドメインの特徴を高密度な予測手法により学習することのできる,新しい汎用フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-15T16:12:14Z) - Invalidator: Automated Patch Correctness Assessment via Semantic and
Syntactic Reasoning [6.269370220586248]
本稿では,意味論的および統語論的推論により,APR生成パッチの正当性を自動的に評価する手法を提案する。
我々は、Defects4Jの現実世界のプログラムで生成された885パッチのデータセットについて実験を行った。
実験の結果,INVALIDATORは79%のオーバーフィッティングパッチを正しく分類し,最高のベースラインで検出されたパッチを23%上回った。
論文 参考訳(メタデータ) (2023-01-03T14:16:32Z) - Full-Spectrum Out-of-Distribution Detection [42.98617540431124]
両シフトタイプを考慮し、フルスペクトルOOD(FS-OOD)検出を導入する。
本稿では,単純な特徴に基づくセマンティックススコア関数であるSEMを提案する。
SEMは現在の最先端の手法を大きく上回っている。
論文 参考訳(メタデータ) (2022-04-11T17:59:14Z) - Exploring Covariate and Concept Shift for Detection and Calibration of
Out-of-Distribution Data [77.27338842609153]
キャラクタリゼーションにより、OODデータの検出と信頼性校正には、それぞれのシフトに対する感度が重要であることが明らかになった。
分布内データのみを用いて両シフトでのOOD検出を改善するために,幾何学的に着想を得た手法を提案する。
我々は,OOD検出とキャリブレーションの両面で,異なるタイプのシフトの下でうまく機能する手法を最初に提案する。
論文 参考訳(メタデータ) (2021-10-28T15:42:55Z) - Tracking the risk of a deployed model and detecting harmful distribution
shifts [105.27463615756733]
実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。
我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
論文 参考訳(メタデータ) (2021-10-12T17:21:41Z) - Triggering Failures: Out-Of-Distribution detection by learning from
local adversarial attacks in Semantic Segmentation [76.2621758731288]
セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。
私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。
3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
論文 参考訳(メタデータ) (2021-08-03T17:09:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。