Fugu-MT 論文翻訳(概要): BED: Bi-Encoder-Based Detectors for Out-of-Distribution Detection

論文の概要: BED: Bi-Encoder-Based Detectors for Out-of-Distribution Detection

arxiv url: http://arxiv.org/abs/2306.08852v1
Date: Thu, 15 Jun 2023 04:41:28 GMT
ステータス: 処理完了
システム内更新日: 2023-06-16 16:32:44.874089
Title: BED: Bi-Encoder-Based Detectors for Out-of-Distribution Detection
Title（参考訳）: BED: 分布外検出のためのバイエンコーダベースの検出器
Authors: Louis Owen, Biddwan Ahmed, Abhay Kumar
Abstract要約: 本稿では,バイエンコーダを用いた検出器を用いた新しい手法を提案する。 NLPにおける様々なアウト・オブ・ディストリビューション(OOD)検出法を比較した総合的研究を行った。提案されたバイエンコーダベースの検出器は、トレーニングでOODラベルを必要とするものと、そうでないものの両方において、他の方法よりも優れている。トレーニングプロセスの単純さと優れた検出性能により、現実のシナリオに適用できる。
参考スコア（独自算出の注目度）: 0.9969202594056513
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper introduces a novel method leveraging bi-encoder-based detectors along with a comprehensive study comparing different out-of-distribution (OOD) detection methods in NLP using different feature extractors. The feature extraction stage employs popular methods such as Universal Sentence Encoder (USE), BERT, MPNET, and GLOVE to extract informative representations from textual data. The evaluation is conducted on several datasets, including CLINC150, ROSTD-Coarse, SNIPS, and YELLOW. Performance is assessed using metrics such as F1-Score, MCC, FPR@90, FPR@95, AUPR, an AUROC. The experimental results demonstrate that the proposed bi-encoder-based detectors outperform other methods, both those that require OOD labels in training and those that do not, across all datasets, showing great potential for OOD detection in NLP. The simplicity of the training process and the superior detection performance make them applicable to real-world scenarios. The presented methods and benchmarking metrics serve as a valuable resource for future research in OOD detection, enabling further advancements in this field. The code and implementation details can be found on our GitHub repository: https://github.com/yellowmessenger/ood-detection.
Abstract（参考訳）: 本稿では, バイエンコーダ型検出器を用いた新しい手法と, 異なる特徴抽出器を用いたnlpにおける異なるアウト・オブ・ディストリビューション(ood)検出法を比較した包括的研究について述べる。特徴抽出段階では、Universal Sentence Encoder (USE)、BERT、MPNET、GLOVEといった一般的な手法を用いてテキストデータから情報表現を抽出する。評価はCLINC150、ROSTD-Coarse、SNIPS、YELLOWなどいくつかのデータセットで行われている。パフォーマンスは、F1-Score、MCC、FPR@90、FPR@95、AUPR、AUROCなどのメトリクスを使って評価される。実験の結果,提案するバイエンコーダに基づく検出器は,トレーニングにおいてoodラベルを必要とするものと,nlpにおけるood検出の可能性が大きいものの両方において,他の手法よりも優れていることがわかった。トレーニングプロセスの単純さと優れた検出性能により、現実のシナリオに適用できる。提案手法とベンチマーク指標は,OOD検出の今後の研究に有用な資源であり,この分野のさらなる進歩を可能にする。コードと実装の詳細はGitHubリポジトリで確認できます。

関連論文リスト

Collaborative Feature-Logits Contrastive Learning for Open-Set Semi-Supervised Object Detection [75.02249869573994]
オープンセットのシナリオでは、ラベルなしデータセットには、イン・ディストリビューション(ID)クラスとアウト・オブ・ディストリビューション(OOD)クラスの両方が含まれている。このような設定で半教師付き検出器を適用すると、OODクラスをIDクラスとして誤分類する可能性がある。我々は、CFL-Detector(Collaborative Feature-Logits Detector)と呼ばれるシンプルで効果的な方法を提案する。
論文参考訳（メタデータ） (2024-11-20T02:57:35Z)
Improving Out-of-Distribution Detection by Combining Existing Post-hoc Methods [1.747623282473278]
ポストホックディープ・オブ・ディストリビューション(OOD)検出は急速に拡大した。現在のベストプラクティスは、手元にあるデータセット上のすべてのメソッドをテストすることです。本稿では,OOD検出を効果的に組み合わせるための新しい手法の開発に焦点を移す。
論文参考訳（メタデータ） (2024-07-09T15:46:39Z)
Envisioning Outlier Exposure by Large Language Models for Out-of-Distribution Detection [71.93411099797308]
オープンワールドシナリオに機械学習モデルをデプロイする場合、アウト・オブ・ディストリビューション(OOD)サンプルは不可欠である。本稿では,大規模言語モデル(LLM)の専門知識と推論能力を活用して,この制約に対処することを提案する。 EOEは、遠、近、きめ細かいOOD検出など、さまざまなタスクに一般化することができる。 EOEは様々なOODタスクで最先端のパフォーマンスを実現し、ImageNet-1Kデータセットに効果的にスケールできる。
論文参考訳（メタデータ） (2024-06-02T17:09:48Z)
Nearest Neighbor Guidance for Out-of-Distribution Detection [18.851275688720108]
そこで本研究では,最寄りのNearest Neighbor Guidance (NNGuide) を用いて,オフ・オブ・ディストリビューション(OOD) サンプルの検出を行う。 NNGuideは、分類器ベースのスコアのきめ細かい機能を維持しながら、OODサンプルの過信を低減する。この結果から,NNGuideはベース検出スコアを大幅に向上することがわかった。
論文参考訳（メタデータ） (2023-09-26T12:40:35Z)
Beyond AUROC & co. for evaluating out-of-distribution detection performance [50.88341818412508]
安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
論文参考訳（メタデータ） (2023-06-26T12:51:32Z)
A Functional Data Perspective and Baseline On Multi-Layer Out-of-Distribution Detection [30.499548939422194]
複数のレイヤを探索するメソッドには、特別なアーキテクチャか、それを行うための管理対象が必要です。この研究は、様々なレイヤとそれらの統計的依存関係を通してサンプルの軌跡を利用するネットワークの機能的なビューに基づいた、オリジナルのアプローチを採用する。提案手法の有効性を実証的に検証し,OOD検出におけるOOD検出の有効性をコンピュータビジョンベンチマーク上での最先端のベースラインと比較した。
論文参考訳（メタデータ） (2023-06-06T09:14:05Z)
Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric Perspective [55.45202687256175]
アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。本稿では,OOD検出における教師なし評価問題を初めて紹介する。我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
論文参考訳（メタデータ） (2023-02-16T13:34:35Z)
Beyond Mahalanobis-Based Scores for Textual OOD Detection [32.721317681946246]
動作要件を満たすTransformerアーキテクチャに基づく分類器のための新しいOOD検出器TRUSTEDを紹介する。 TRUSTEDの効率性は、すべての隠された層がOODのサンプルを検出するための関連情報を持っているという実りある考えに依存している。実験では、さまざまなチェックポイント、シード、データセットを含む51kのモデル構成を取り上げ、TRUSTEDが最先端のパフォーマンスを実現していることを示す。
論文参考訳（メタデータ） (2022-11-24T10:51:58Z)
Prompt-driven efficient Open-set Semi-supervised Learning [52.30303262499391]
オープンセット半教師付き学習(OSSL)は関心を集めており、未ラベルデータにのみOOD(Out-of-distribution)サンプルが組み込まれているというより実践的なシナリオを調査している。我々はOpenPromptと呼ばれる,プロンプト駆動の効率的なOSSLフレームワークを提案する。
論文参考訳（メタデータ） (2022-09-28T16:25:08Z)
Gradient-based Novelty Detection Boosted by Self-supervised Binary Classification [20.715158729811755]
新規性検出は、アウト・オブ・ディストリビューション(OOD)データを自動的に識別することを目的としている。我々は、事前に定義されたOODデータに依存しない、新しい自己教師型アプローチを提案する。複数のデータセットによる評価では、提案手法は最先端の教師なし手法と教師なし手法を一貫して上回っている。
論文参考訳（メタデータ） (2021-12-18T01:17:15Z)
Triggering Failures: Out-Of-Distribution detection by learning from local adversarial attacks in Semantic Segmentation [76.2621758731288]
セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。 3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
論文参考訳（メタデータ） (2021-08-03T17:09:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。