論文の概要: Unsupervised Layer-wise Score Aggregation for Textual OOD Detection

• arxiv url: http://arxiv.org/abs/2302.09852v3
• Date: Wed, 21 Feb 2024 17:47:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 21:31:24.367154
• Title: Unsupervised Layer-wise Score Aggregation for Textual OOD Detection
• Title（参考訳）: テキストOOD検出のための教師なしレイヤワイズスコアアグリゲーション
• Authors: Maxime Darrin, Guillaume Staerman, Eduardo Dadalto C\^amara Gomes, Jackie CK Cheung, Pablo Piantanida, Pierre Colombo
• Abstract要約: 我々はOOD検出性能がタスクや層出力によって大きく異なることを観察した。 本稿では,データ駆動型教師なし手法を提案する。 クラス数の多い分類タスクを含めることで、古典的なOODベンチマークを拡張します。
• 参考スコア（独自算出の注目度）: 35.47177259803885
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Out-of-distribution (OOD) detection is a rapidly growing field due to new robustness and security requirements driven by an increased number of AI-based systems. Existing OOD textual detectors often rely on an anomaly score (e.g., Mahalanobis distance) computed on the embedding output of the last layer of the encoder. In this work, we observe that OOD detection performance varies greatly depending on the task and layer output. More importantly, we show that the usual choice (the last layer) is rarely the best one for OOD detection and that far better results could be achieved if the best layer were picked. To leverage this observation, we propose a data-driven, unsupervised method to combine layer-wise anomaly scores. In addition, we extend classical textual OOD benchmarks by including classification tasks with a greater number of classes (up to 77), which reflects more realistic settings. On this augmented benchmark, we show that the proposed post-aggregation methods achieve robust and consistent results while removing manual feature selection altogether. Their performance achieves near oracle's best layer performance.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)検出は、AIベースのシステムの増加によって、新たな堅牢性とセキュリティ要件によって急速に成長する分野である。 既存のOODテキスト検出器は、しばしばエンコーダの最後の層の埋め込み出力に計算された異常スコア(例えば、マハラノビス距離)に依存する。 本研究では,OOD検出性能がタスクやレイヤの出力によって大きく異なることを観察する。 さらに重要なことは、通常の選択(最後のレイヤ)がOOD検出に最適であることは滅多になく、最高のレイヤを選択したらはるかに良い結果が得られます。 そこで本研究では,データ駆動型非教師なし手法を提案する。 さらに,より現実的な設定を反映するクラス数(最大77まで)の分類タスクを含めることで,古典的テキスト型oodベンチマークを拡張する。 本ベンチマークでは,提案手法が手動の特徴選択を完全に除去しつつ,頑健で一貫した結果が得られることを示す。 彼らのパフォーマンスはoracleの最高のレイヤパフォーマンスに近い。

関連論文リスト

• Unifying Unsupervised Graph-Level Anomaly Detection and Out-of-Distribution Detection: A Benchmark [73.58840254552656]
  近年,非教師付きグラフレベルの異常検出(GLAD)と教師なしグラフレベルのアウト・オブ・ディストリビューション(OOD)検出が注目されている。 教師なしグラフレベルのOODと異常検出のための統一ベンチマーク(我々の方法)を提案する。 我々のベンチマークでは、4つの実用的な異常とOOD検出シナリオにまたがる35のデータセットを網羅している。 我々は,既存手法の有効性,一般化性,堅牢性,効率性について多次元解析を行った。
  論文  参考訳（メタデータ） (2024-06-21T04:07:43Z)
• Rethinking the Evaluation of Out-of-Distribution Detection: A Sorites Paradox [70.57120710151105]
  既存のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、サンプルを新しいラベルでOODデータとして分類する。 いくつかの限界OODサンプルは、実際には分布内(ID)サンプルに密接なセマンティック内容を持ち、OODサンプルをソリテスパラドックス(英語版)と判定する。 この問題に対処するため,Incremental Shift OOD (IS-OOD) というベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-06-14T09:27:56Z)
• WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
  入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。 我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
  論文  参考訳（メタデータ） (2024-05-27T13:38:28Z)
• EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
  本稿では,長い尾を持つOOD検出の課題に対処する。 主な困難は、尾クラスに属するサンプルとOODデータを区別することである。 本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
  論文  参考訳（メタデータ） (2023-12-14T13:47:13Z)
• Nearest Neighbor Guidance for Out-of-Distribution Detection [18.851275688720108]
  そこで本研究では,最寄りのNearest Neighbor Guidance (NNGuide) を用いて,オフ・オブ・ディストリビューション(OOD) サンプルの検出を行う。 NNGuideは、分類器ベースのスコアのきめ細かい機能を維持しながら、OODサンプルの過信を低減する。 この結果から,NNGuideはベース検出スコアを大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-26T12:40:35Z)
• Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric Perspective [55.45202687256175]
  アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。 本稿では,OOD検出における教師なし評価問題を初めて紹介する。 我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
  論文  参考訳（メタデータ） (2023-02-16T13:34:35Z)
• Holistic Sentence Embeddings for Better Out-of-Distribution Detection [12.640837452980332]
  Avg-Avg という単純な埋め込み手法を提案し,各中間層からのトークン表現を文埋め込みとして平均化する。 本分析は, 微調整PLMにおける言語知識の保存に有効であり, 背景変化の検出にも有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-14T03:22:58Z)
• Semantically Coherent Out-of-Distribution Detection [26.224146828317277]
  現在のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、ひとつのデータセットをイン・ディストリビューション(ID)として定義し、他のすべてのデータセットをOODとして定義することで、一般的に構築されている。 ベンチマークを再設計し、セマンティック・コヒーレント・アウト・オブ・ディストリビューション検出(SC-OOD)を提案する。 本手法は,SC-OODベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-08-26T17:53:32Z)
• MOOD: Multi-level Out-of-distribution Detection [13.207044902083057]
  異常な入力がデプロイ中にモデルが失敗するのを防ぐには、分散アウト・ディストリビューション(OOD)検出が不可欠です。 動的かつ効率的なOOD推論のための中間分類器出力を利用する,新しいフレームワークであるマルチレベルアウトオブディストリビューション検出MOODを提案する。 MOODは、競合するOOD検出性能を維持しながら、推論における最大71.05%の計算削減を実現します。
  論文  参考訳（メタデータ） (2021-04-30T02:18:31Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。