論文の概要: Types of Out-of-Distribution Texts and How to Detect Them
- arxiv url: http://arxiv.org/abs/2109.06827v1
- Date: Tue, 14 Sep 2021 17:12:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-15 18:23:06.188453
- Title: Types of Out-of-Distribution Texts and How to Detect Them
- Title(参考訳): アウト・オブ・ディストリビューションテキストの種類と検出方法
- Authors: Udit Arora, William Huang, He He
- Abstract要約: OODの例は背景変化か意味変化かによって分類する。
モデルキャリブレーションと密度推定という2つの主要なOOD検出手法が,これらのOODデータに対して異なる挙動を示すことがわかった。
本研究の結果は,OODのサンプルを,異なる検出方法を評価する際に明確な定義を求めるものである。
- 参考スコア(独自算出の注目度): 4.854346360117765
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite agreement on the importance of detecting out-of-distribution (OOD)
examples, there is little consensus on the formal definition of OOD examples
and how to best detect them. We categorize these examples by whether they
exhibit a background shift or a semantic shift, and find that the two major
approaches to OOD detection, model calibration and density estimation (language
modeling for text), have distinct behavior on these types of OOD data. Across
14 pairs of in-distribution and OOD English natural language understanding
datasets, we find that density estimation methods consistently beat calibration
methods in background shift settings, while performing worse in semantic shift
settings. In addition, we find that both methods generally fail to detect
examples from challenge data, highlighting a weak spot for current methods.
Since no single method works well across all settings, our results call for an
explicit definition of OOD examples when evaluating different detection
methods.
- Abstract(参考訳): オフ・オブ・ディストリビューション(OOD)の例を検出することの重要性は一致しているものの、OODの例の形式的定義や、それらを最もよく検出する方法についてはほとんど合意がない。
背景変化や意味変化を示すかによってこれらの例を分類し,OOD検出,モデルキャリブレーション,密度推定(テキストの言語モデル)の2つの主要なアプローチが,これらのOODデータに対して異なる振る舞いを持つことを見出した。
14対の分布内分布とOOD英語の自然言語理解データセットにまたがって、密度推定手法が背景シフト設定におけるキャリブレーション手法を常に上回り、セマンティックシフト設定では悪化することがわかった。
さらに,両手法は,通常,課題データからのサンプル検出に失敗し,現在の手法の弱点を浮き彫りにしている。
すべての設定でひとつのメソッドがうまく動作しないため、異なる検出方法を評価する際にOOD例を明確に定義する必要がある。
関連論文リスト
- Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。
Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。
複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
論文 参考訳(メタデータ) (2023-11-28T02:00:47Z) - Unsupervised Out-of-Distribution Dialect Detection with Mahalanobis
Distance [6.358196724648596]
展開された方言分類モデルは、トレーニングデータ分布とは異なる異常な入力に遭遇することができる。
アウト・オブ・ディストリビューション検出は、方言分類の文脈においてほとんど注目されていない新しい研究領域である。
本稿では, 分布外サンプルを検出するために, 単純かつ効果的なマハラノビス距離特徴量に基づく手法を提案する。
論文 参考訳(メタデータ) (2023-08-09T11:33:53Z) - General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。
本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。
提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-24T18:50:49Z) - Beyond AUROC & co. for evaluating out-of-distribution detection
performance [50.88341818412508]
安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。
我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
論文 参考訳(メタデータ) (2023-06-26T12:51:32Z) - Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for
Out-of-Domain Detection [28.810524375810736]
アウト・オブ・ディストリビューション(OOD)検出は、テキスト上の信頼できる予測にとって重要なタスクである。
事前訓練された言語モデルによる微調整は、OOD検出器を導出するための事実上の手順である。
距離に基づく検出手法を用いて、事前学習した言語モデルは、分布シフトがドメイン変更を伴う場合、ほぼ完璧なOOD検出器であることを示す。
論文 参考訳(メタデータ) (2023-05-22T17:42:44Z) - Background Matters: Enhancing Out-of-distribution Detection with Domain
Features [90.32910087103744]
OODサンプルは任意の分布から引き出すことができ、様々な次元における分布内(ID)データからの偏差を示す。
既存の方法は、ドメインの特徴のような他の次元を無視しながら、意味的特徴に基づいてOODサンプルを検出することに重点を置いている。
本稿では,IDトレーニングサンプルからドメインの特徴を高密度な予測手法により学習することのできる,新しい汎用フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-15T16:12:14Z) - Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD
Training Data Estimate a Combination of the Same Core Quantities [104.02531442035483]
本研究の目的は,OOD検出手法の暗黙的なスコアリング機能を識別すると同時に,共通の目的を認識することである。
内分布と外分布の2値差はOOD検出問題のいくつかの異なる定式化と等価であることを示す。
また, 外乱露光で使用される信頼損失は, 理論上最適のスコアリング関数と非自明な方法で異なる暗黙的なスコアリング関数を持つことを示した。
論文 参考訳(メタデータ) (2022-06-20T16:32:49Z) - Exploring Covariate and Concept Shift for Detection and Calibration of
Out-of-Distribution Data [77.27338842609153]
キャラクタリゼーションにより、OODデータの検出と信頼性校正には、それぞれのシフトに対する感度が重要であることが明らかになった。
分布内データのみを用いて両シフトでのOOD検出を改善するために,幾何学的に着想を得た手法を提案する。
我々は,OOD検出とキャリブレーションの両面で,異なるタイプのシフトの下でうまく機能する手法を最初に提案する。
論文 参考訳(メタデータ) (2021-10-28T15:42:55Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳(メタデータ) (2020-12-10T16:55:13Z) - Detecting Out-of-Distribution Examples with In-distribution Examples and
Gram Matrices [8.611328447624679]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(Out-of-Distribution)の例で示すと、信頼性と誤った予測をもたらす。
本稿では,行動パターンとクラス予測の不整合を識別し,OODのサンプルを検出することを提案する。
グラム行列による活動パターンの特徴付けとグラム行列値の異常の同定により,高いOOD検出率が得られることがわかった。
論文 参考訳(メタデータ) (2019-12-28T19:44:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。