論文の概要: Fine-Tuning Deteriorates General Textual Out-of-Distribution Detection by Distorting Task-Agnostic Features

• arxiv url: http://arxiv.org/abs/2301.12715v1
• Date: Mon, 30 Jan 2023 08:01:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 15:27:30.044540
• Title: Fine-Tuning Deteriorates General Textual Out-of-Distribution Detection by Distorting Task-Agnostic Features
• Title（参考訳）: タスク非依存的特徴の歪みによるテキストアウトオブディストリビューション検出の微調整による劣化
• Authors: Sishuo Chen, Wenkai Yang, Xiaohan Bi and Xu Sun
• Abstract要約: アウト・オブ・ディストリビューション(OOD)入力は、自然言語処理(NLP)モデルの安全なデプロイに不可欠である。 本研究は,意味的および非意味的変化を検出するための主流テキストOOD検出手法を評価するための第一歩である。 本稿では,タスク非依存およびタスク特化表現から得られた信頼スコアを統合する,GNOMEという単純なOODスコアを提案する。
• 参考スコア（独自算出の注目度）: 14.325845491628087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting out-of-distribution (OOD) inputs is crucial for the safe deployment of natural language processing (NLP) models. Though existing methods, especially those based on the statistics in the feature space of fine-tuned pre-trained language models (PLMs), are claimed to be effective, their effectiveness on different types of distribution shifts remains underexplored. In this work, we take the first step to comprehensively evaluate the mainstream textual OOD detection methods for detecting semantic and non-semantic shifts. We find that: (1) no existing method behaves well in both settings; (2) fine-tuning PLMs on in-distribution data benefits detecting semantic shifts but severely deteriorates detecting non-semantic shifts, which can be attributed to the distortion of task-agnostic features. To alleviate the issue, we present a simple yet effective general OOD score named GNOME that integrates the confidence scores derived from the task-agnostic and task-specific representations. Experiments show that GNOME works well in both semantic and non-semantic shift scenarios, and further brings significant improvement on two cross-task benchmarks where both kinds of shifts simultaneously take place. Our code is available at https://github.com/lancopku/GNOME.
• Abstract（参考訳）: 自然言語処理(NLP)モデルの安全なデプロイには,OOD入力の検出が不可欠である。 既存の手法、特に微調整事前訓練言語モデル(PLM)の特徴空間における統計に基づく手法は有効であると主張されているが、異なる種類の分散シフトに対する効果は未定である。 本研究は,意味的および非意味的変化を検出するための主流テキストOOD検出手法を包括的に評価する第一歩である。 1) 既存の手法は, 双方の環境では良好に動作せず, 2) セマンティックシフトを検出する不分配データに基づく微調整 PLM は, タスクに依存しない特徴の歪みに起因する非セマンティックシフトの検出を著しく劣化させる。 この問題を緩和するために,タスク非依存およびタスク特化表現から得られた信頼度を統合した,GNOMEという単純なOODスコアを提案する。 実験により、GNOMEはセマンティックシフトシナリオと非セマンティックシフトシナリオの両方でうまく機能し、同時に両方のシフトが実行される2つのクロスタスクベンチマークにおいて、さらに大幅に改善されることが示された。 私たちのコードはhttps://github.com/lancopku/GNOMEで利用可能です。

関連論文リスト

• Semantic or Covariate? A Study on the Intractable Case of Out-of-Distribution Detection [70.57120710151105]
  ID分布のセマンティック空間をより正確に定義する。 また,OOD と ID の区別性を保証する "Tractable OOD" の設定も定義する。
  論文  参考訳（メタデータ） (2024-11-18T03:09:39Z)
• Generalize or Detect? Towards Robust Semantic Segmentation Under Multiple Distribution Shifts [56.57141696245328]
  斬新なクラスとドメインの両方が存在するようなオープンワールドシナリオでは、理想的なセグメンテーションモデルは安全のために異常なクラスを検出する必要がある。 既存の方法はドメインレベルとセマンティックレベルの分散シフトを区別するのに苦労することが多い。
  論文  参考訳（メタデータ） (2024-11-06T11:03:02Z)
• A Hitchhikers Guide to Fine-Grained Face Forgery Detection Using Common Sense Reasoning [9.786907179872815]
  視覚と言語の可能性は、いまだに偽造検出に過小評価されている。 顔偽造検出を視覚質問応答(VQA)タスクに変換する方法論が必要である。 このギャップに対処するために,従来の二項決定パラダイムから分岐する多段階的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-01T08:16:40Z)
• Likelihood-Aware Semantic Alignment for Full-Spectrum Out-of-Distribution Detection [24.145060992747077]
  画像とテキストの対応を意味的に高次領域に促進する「Likelihood-Aware Semantic Alignment (LSA)フレームワーク」を提案する。 2つのF-OODベンチマークで15.26%$と18.88%$の差で既存の手法を上回り、提案したLSAの優れたOOD検出性能を実証した。
  論文  参考訳（メタデータ） (2023-12-04T08:53:59Z)
• ATTA: Anomaly-aware Test-Time Adaptation for Out-of-Distribution Detection in Segmentation [22.084967085509387]
  ドメインシフトとセマンティックシフトを協調的に扱うための二重レベルOOD検出フレームワークを提案する。 第1のレベルは、グローバルな低レベル機能を活用することで、画像内にドメインシフトが存在するかどうかを区別する。 第2のレベルは、高次特徴写像を高密度に利用することにより、セマンティックシフトを伴う画素を識別する。
  論文  参考訳（メタデータ） (2023-09-12T06:49:56Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)
• Leveraging Hidden Positives for Unsupervised Semantic Segmentation [5.937673383513695]
  隠れ陽性を抽出することで、コントラスト学習を活用して、豊かな意味関係を学習する。 隣接パッチ間のセマンティック一貫性を学習するための勾配伝搬戦略を導入する。 提案手法は,COCO-stuff,Cityscapes,Potsdam-3データセットにおけるSOTA(State-of-the-art)の新たな結果を実現する。
  論文  参考訳（メタデータ） (2023-03-27T08:57:28Z)
• Ambiguity-Resistant Semi-Supervised Learning for Dense Object Detection [98.66771688028426]
  本研究では,一段階検出器のためのAmbiguity-Resistant Semi-supervised Learning (ARSL)を提案する。 擬似ラベルの分類とローカライズ品質を定量化するために,JCE(Joint-Confidence Estimation)を提案する。 ARSLは、曖昧さを効果的に軽減し、MS COCOおよびPASCALVOC上で最先端のSSOD性能を達成する。
  論文  参考訳（メタデータ） (2023-03-27T07:46:58Z)
• Full-Spectrum Out-of-Distribution Detection [42.98617540431124]
  両シフトタイプを考慮し、フルスペクトルOOD(FS-OOD)検出を導入する。 本稿では,単純な特徴に基づくセマンティックススコア関数であるSEMを提案する。 SEMは現在の最先端の手法を大きく上回っている。
  論文  参考訳（メタデータ） (2022-04-11T17:59:14Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• Triggering Failures: Out-Of-Distribution detection by learning from local adversarial attacks in Semantic Segmentation [76.2621758731288]
  セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。 私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。 3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-08-03T17:09:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。