論文の概要: Classical Out-of-Distribution Detection Methods Benchmark in Text Classification Tasks

• arxiv url: http://arxiv.org/abs/2307.07002v1
• Date: Thu, 13 Jul 2023 18:06:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-17 15:51:05.310321
• Title: Classical Out-of-Distribution Detection Methods Benchmark in Text Classification Tasks
• Title（参考訳）: テキスト分類タスクにおける古典的分散検出手法ベンチマーク
• Authors: Mateusz Baran, Joanna Baran, Mateusz W\'ojcik, Maciej Zi\k{e}ba, Adam Gonczarek
• Abstract要約: 最先端モデルは、制御された環境でうまく機能するが、アウト・オブ・ディストリビューション(OOD)の例を提示すると、しばしば苦労する。 本稿では,NLPにおけるOOD検出に対する既存のアプローチの限界を強調することに焦点を当てる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art models can perform well in controlled environments, but they often struggle when presented with out-of-distribution (OOD) examples, making OOD detection a critical component of NLP systems. In this paper, we focus on highlighting the limitations of existing approaches to OOD detection in NLP. Specifically, we evaluated eight OOD detection methods that are easily integrable into existing NLP systems and require no additional OOD data or model modifications. One of our contributions is providing a well-structured research environment that allows for full reproducibility of the results. Additionally, our analysis shows that existing OOD detection methods for NLP tasks are not yet sufficiently sensitive to capture all samples characterized by various types of distributional shifts. Particularly challenging testing scenarios arise in cases of background shift and randomly shuffled word order within in domain texts. This highlights the need for future work to develop more effective OOD detection approaches for the NLP problems, and our work provides a well-defined foundation for further research in this area.
• Abstract（参考訳）: State-of-the-artモデルは制御された環境でうまく機能するが、OOD検出をNLPシステムの重要なコンポーネントとするために、アウト・オブ・ディストリビューション(OOD)の例を提示すると、しばしば苦労する。 本稿では,NLPにおけるOOD検出に対する既存のアプローチの限界を強調することに焦点を当てる。 具体的には、既存のNLPシステムに容易に統合でき、追加のOODデータやモデル修正を必要としない8つのOOD検出手法を評価した。 私たちの貢献の1つは、結果の完全な再現性を可能にする、十分に構造化された研究環境を提供することです。 さらに,NLPタスクに対する既存のOOD検出手法は,様々な種類の分散シフトを特徴とする全サンプルを抽出するのに十分な感度が得られていない。 特に難しいテストシナリオは、ドメインテキスト内のバックグラウンドシフトとランダムにシャッフルされた単語順序の場合に発生する。 このことは、NLP問題に対してより効果的なOOD検出アプローチを開発するための今後の研究の必要性を強調し、我々の研究は、この分野におけるさらなる研究のための、しっかりとした基盤を提供する。

関連論文リスト

• General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
  アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。 本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。 提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-24T18:50:49Z)
• Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for Out-of-Domain Detection [28.810524375810736]
  アウト・オブ・ディストリビューション(OOD)検出は、テキスト上の信頼できる予測にとって重要なタスクである。 事前訓練された言語モデルによる微調整は、OOD検出器を導出するための事実上の手順である。 距離に基づく検出手法を用いて、事前学習した言語モデルは、分布シフトがドメイン変更を伴う場合、ほぼ完璧なOOD検出器であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T17:42:44Z)
• Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric Perspective [55.45202687256175]
  アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。 本稿では,OOD検出における教師なし評価問題を初めて紹介する。 我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
  論文  参考訳（メタデータ） (2023-02-16T13:34:35Z)
• Plugin estimators for selective classification with out-of-distribution detection [67.28226919253214]
  現実世界の分類器は、信頼性の低いサンプルの予測を控えることの恩恵を受けることができる。 これらの設定は、選択分類(SC)とアウト・オブ・ディストリビューション(OOD)の検出文献において広範囲に研究されている。 OOD検出による選択分類に関する最近の研究は、これらの問題の統一的な研究を議論している。 本稿では,既存の手法を理論的に基礎づけ,有効かつ一般化したSCOD用プラグイン推定器を提案する。
  論文  参考訳（メタデータ） (2023-01-29T07:45:17Z)
• Rainproof: An Umbrella To Shield Text Generators From Out-Of-Distribution Data [41.62897997865578]
  安全なシステム動作を保証するための重要な要素は、Out-Of-Distribution Detectionである。 ほとんどのメソッドはエンコーダが出力する隠れた機能に依存している。 本研究では,ブラックボックスフレームワークにおけるソフト確率の活用に焦点をあてる。
  論文  参考訳（メタデータ） (2022-12-18T21:22:28Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• OpenOOD: Benchmarking Generalized Out-of-Distribution Detection [60.13300701826931]
  アウト・オブ・ディストリビューション(OOD)検出は、安全クリティカルな機械学習アプリケーションにとって不可欠である。 この分野では現在、統一的で厳格に定式化され、包括的なベンチマークが欠けている。 関連フィールドで開発された30以上のメソッドを実装したOpenOODという,統一的で構造化されたシステムを構築します。
  論文  参考訳（メタデータ） (2022-10-13T17:59:57Z)
• MOOD: Multi-level Out-of-distribution Detection [13.207044902083057]
  異常な入力がデプロイ中にモデルが失敗するのを防ぐには、分散アウト・ディストリビューション(OOD)検出が不可欠です。 動的かつ効率的なOOD推論のための中間分類器出力を利用する,新しいフレームワークであるマルチレベルアウトオブディストリビューション検出MOODを提案する。 MOODは、競合するOOD検出性能を維持しながら、推論における最大71.05%の計算削減を実現します。
  論文  参考訳（メタデータ） (2021-04-30T02:18:31Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。