論文の概要: Holistic Sentence Embeddings for Better Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2210.07485v1
- Date: Fri, 14 Oct 2022 03:22:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 14:56:19.373706
- Title: Holistic Sentence Embeddings for Better Out-of-Distribution Detection
- Title（参考訳）: 分散検出を改善するための総称文埋め込み
- Authors: Sishuo Chen, Xiaohan Bi, Rundong Gao, Xu Sun
- Abstract要約: Avg-Avg という単純な埋め込み手法を提案し,各中間層からのトークン表現を文埋め込みとして平均化する。
本分析は, 微調整PLMにおける言語知識の保存に有効であり, 背景変化の検出にも有効であることを示す。
- 参考スコア（独自算出の注目度）: 12.640837452980332
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Detecting out-of-distribution (OOD) instances is significant for the safe
deployment of NLP models. Among recent textual OOD detection works based on
pretrained language models (PLMs), distance-based methods have shown superior
performance. However, they estimate sample distance scores in the last-layer
CLS embedding space and thus do not make full use of linguistic information
underlying in PLMs. To address the issue, we propose to boost OOD detection by
deriving more holistic sentence embeddings. On the basis of the observations
that token averaging and layer combination contribute to improving OOD
detection, we propose a simple embedding approach named Avg-Avg, which averages
all token representations from each intermediate layer as the sentence
embedding and significantly surpasses the state-of-the-art on a comprehensive
suite of benchmarks by a 9.33% FAR95 margin. Furthermore, our analysis
demonstrates that it indeed helps preserve general linguistic knowledge in
fine-tuned PLMs and substantially benefits detecting background shifts. The
simple yet effective embedding method can be applied to fine-tuned PLMs with
negligible extra costs, providing a free gain in OOD detection. Our code is
available at https://github.com/lancopku/Avg-Avg.
- Abstract（参考訳）: NLPモデルの安全なデプロイには、アウト・オブ・ディストリビューション(OOD)インスタンスの検出が重要である。
事前学習言語モデル(PLM)に基づく最近のテキストOOD検出作業の中で,距離ベース手法は優れた性能を示した。
しかし、最終層CLS埋め込み空間におけるサンプル距離スコアを推定し、PLMの根底にある言語情報を十分に活用することができない。
この問題に対処するために,より包括的な文埋め込みを導出し,OOD検出の促進を提案する。
トークン平均化と層結合がOOD検出の改善に寄与するという観測に基づいて,中間層から全てのトークン表現を文埋め込みとして平均化し,9.33%のFAR95マージンの総合ベンチマークで最先端を著しく上回る,Avg-Avgという単純な埋め込み手法を提案する。
さらに,本分析は,微調整PLMにおける言語知識の保存に有効であり,背景変化の検出にも有効であることを示す。
単純で効果的な埋め込み法は、微調整されたPLMに無視できる余剰コストで適用でき、OOD検出において自由な利得が得られる。
私たちのコードはhttps://github.com/lancopku/Avg-Avg.comで利用可能です。
関連論文リスト
- WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。
我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
論文 参考訳（メタデータ） (2024-05-27T13:38:28Z) - Your Finetuned Large Language Model is Already a Powerful Out-of-distribution Detector [17.305076703258813]
我々は,事前学習された大言語モデル(LLM)と,その微調整された変種との比率を,アウト・オブ・ディストリビューション(OOD)検出の基準として再検討する。
本研究は,OOD検出に有効である可能性比を初めて示す。
論文 参考訳（メタデータ） (2024-04-07T10:32:49Z) - Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis,
and LLMs Evaluations [111.88727295707454]
本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。
本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。
我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
論文 参考訳（メタデータ） (2023-06-07T17:47:03Z) - Out-of-Distributed Semantic Pruning for Robust Semi-Supervised Learning [17.409939628100517]
我々は,OODセマンティック・プルーニング(OSP)と呼ばれる統合フレームワークを提案する。
OSPは、ID分類の精度を13.7%、TinyImageNetデータセットのOOD検出のAUROCの5.9%に上回っている。
論文 参考訳（メタデータ） (2023-05-29T15:37:07Z) - Unsupervised Layer-wise Score Aggregation for Textual OOD Detection [35.47177259803885]
我々はOOD検出性能がタスクや層出力によって大きく異なることを観察した。
本稿では,データ駆動型教師なし手法を提案する。
クラス数の多い分類タスクを含めることで、古典的なOODベンチマークを拡張します。
論文 参考訳（メタデータ） (2023-02-20T09:26:11Z) - Out-of-distribution Detection with Deep Nearest Neighbors [33.71627349163909]
アウト・オブ・ディストリビューション(OOD)検出は、オープンな世界で機械学習モデルをデプロイするための重要なタスクである。
本稿では,OOD検出における非パラメトリック近接距離の有効性について検討する。
いくつかのベンチマークで最寄りのOOD検出の有効性を実証し,優れた性能を示す。
論文 参考訳（メタデータ） (2022-04-13T16:45:21Z) - No True State-of-the-Art? OOD Detection Methods are Inconsistent across
Datasets [69.725266027309]
アウト・オブ・ディストリビューション検出は、信頼できるMLシステムの重要なコンポーネントである。
本研究では,これらの手法が16対の標準セット上でのOOD検出よりも本質的に優れていることを示す。
また、ある(ID, OOD)ペアにおいて他の(ID, OOD)ペアよりも優れる手法は、低データ方式ではそうしない可能性があることを示す。
論文 参考訳（メタデータ） (2021-09-12T16:35:00Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳（メタデータ） (2021-08-12T09:14:44Z) - Triggering Failures: Out-Of-Distribution detection by learning from
local adversarial attacks in Semantic Segmentation [76.2621758731288]
セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。
私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。
3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
論文 参考訳（メタデータ） (2021-08-03T17:09:56Z) - Label Smoothed Embedding Hypothesis for Out-of-Distribution Detection [72.35532598131176]
我々は,$k$-NN 密度推定値を用いて OOD サンプルを検出する教師なし手法を提案する。
emphLabel Smoothed Embedding hypothesis と呼ばれるラベル平滑化に関する最近の知見を活用する。
提案手法は,多くのOODベースラインを上回り,新しい有限サンプル高確率統計結果を提供することを示す。
論文 参考訳（メタデータ） (2021-02-09T21:04:44Z) - ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining [51.19164318924997]
インフォメーション・アウトリエ・マイニングによるアドリアトレーニングは、OOD検出の堅牢性を向上させる。
ATOMは,古典的,敵対的なOOD評価タスクの幅広いファミリーの下で,最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-06-26T20:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。