論文の概要: Likelihood Ratios and Generative Classifiers for Unsupervised Out-of-Domain Detection In Task Oriented Dialog

• arxiv url: http://arxiv.org/abs/1912.12800v1
• Date: Mon, 30 Dec 2019 03:31:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-17 01:56:40.757944
• Title: Likelihood Ratios and Generative Classifiers for Unsupervised Out-of-Domain Detection In Task Oriented Dialog
• Title（参考訳）: タスク指向ダイアログにおける教師なし領域検出のためのラピッド比と生成型分類器
• Authors: Varun Gangal, Abhinav Arora, Arash Einolghozati, Sonal Gupta
• Abstract要約: タスクベース対話システムに対する自然言語文入力のためのOOD検出に着目する。 公開データセットの4K OODサンプルのデータセットをSchusterらからリリースしています。
• 参考スコア（独自算出の注目度）: 24.653367921046442
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The task of identifying out-of-domain (OOD) input examples directly at test-time has seen renewed interest recently due to increased real world deployment of models. In this work, we focus on OOD detection for natural language sentence inputs to task-based dialog systems. Our findings are three-fold: First, we curate and release ROSTD (Real Out-of-Domain Sentences From Task-oriented Dialog) - a dataset of 4K OOD examples for the publicly available dataset from (Schuster et al. 2019). In contrast to existing settings which synthesize OOD examples by holding out a subset of classes, our examples were authored by annotators with apriori instructions to be out-of-domain with respect to the sentences in an existing dataset. Second, we explore likelihood ratio based approaches as an alternative to currently prevalent paradigms. Specifically, we reformulate and apply these approaches to natural language inputs. We find that they match or outperform the latter on all datasets, with larger improvements on non-artificial OOD benchmarks such as our dataset. Our ablations validate that specifically using likelihood ratios rather than plain likelihood is necessary to discriminate well between OOD and in-domain data. Third, we propose learning a generative classifier and computing a marginal likelihood (ratio) for OOD detection. This allows us to use a principled likelihood while at the same time exploiting training-time labels. We find that this approach outperforms both simple likelihood (ratio) based and other prior approaches. We are hitherto the first to investigate the use of generative classifiers for OOD detection at test-time.
• Abstract（参考訳）: ドメイン外インプット(OOD)をテスト時に直接識別するタスクは、最近、モデルの実際のデプロイの増加により、新たな関心を集めている。 本研究では,タスクベース対話システムに対する自然言語文入力のOOD検出に着目した。 まず、rostd(タスク指向ダイアログからの実際のドメイン外文)をキュレートし、リリースします。 - 公開されているデータセットの4k oodサンプルのデータセットです(schuster et al. 2019)。 クラスをサブセットとして保持することでOODの例を合成する既存の設定とは対照的に,既存のデータセットの文に対して,アプリロリ命令のアノテータによってドメイン外命令が作成されました。 第2に,現在普及しているパラダイムの代替として,確率比に基づくアプローチを検討する。 具体的には、これらのアプローチを自然言語入力に適用する。 データセットのような非アーティフィシャルなOODベンチマークよりも大幅に改善され、すべてのデータセットで後者にマッチするか、より優れています。 我々は,OODデータとドメイン内データとを識別するためには,特異な可能性ではなく,確率比を特に利用する必要があることを検証した。 第三に、生成型分類器を学習し、OOD検出の限界確率(比)を計算することを提案する。 これにより、トレーニングタイムラベルの活用と同時に、原則化された可能性を使用することができます。 このアプローチは、simple likelihood(ratio)ベースと他の先行アプローチの両方よりも優れています。 我々は,OOD検出における生成型分類器の使用をテスト時に初めて検討する。

関連論文リスト

• Envisioning Outlier Exposure by Large Language Models for Out-of-Distribution Detection [71.93411099797308]
  オープンワールドシナリオに機械学習モデルをデプロイする場合、アウト・オブ・ディストリビューション(OOD)サンプルは不可欠である。 本稿では,大規模言語モデル(LLM)の専門知識と推論能力を活用して,この制約に対処することを提案する。 EOEは、遠、近、きめ細かいOOD検出など、さまざまなタスクに一般化することができる。 EOEは様々なOODタスクで最先端のパフォーマンスを実現し、ImageNet-1Kデータセットに効果的にスケールできる。
  論文  参考訳（メタデータ） (2024-06-02T17:09:48Z)
• EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
  本稿では,長い尾を持つOOD検出の課題に対処する。 主な困難は、尾クラスに属するサンプルとOODデータを区別することである。 本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
  論文  参考訳（メタデータ） (2023-12-14T13:47:13Z)
• Background Matters: Enhancing Out-of-distribution Detection with Domain Features [90.32910087103744]
  OODサンプルは任意の分布から引き出すことができ、様々な次元における分布内(ID)データからの偏差を示す。 既存の方法は、ドメインの特徴のような他の次元を無視しながら、意味的特徴に基づいてOODサンプルを検出することに重点を置いている。 本稿では,IDトレーニングサンプルからドメインの特徴を高密度な予測手法により学習することのできる,新しい汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-15T16:12:14Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• Metric Learning and Adaptive Boundary for Out-of-Domain Detection [0.9236074230806579]
  我々はOODデータに依存しないOOD検出アルゴリズムを設計した。 提案アルゴリズムは,メトリック学習と適応的決定境界を併用する,シンプルだが効率的な手法に基づいている。 他のアルゴリズムと比較して,提案アルゴリズムでは,クラス数が少ないシナリオにおいて,OOD性能が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2022-04-22T17:54:55Z)
• Towards Textual Out-of-Domain Detection without In-Domain Labels [41.23096594140221]
  この研究は、ドメイン内のデータのラベルにアクセスできないOOD検出の難しいケースに焦点を当てている。 まず、トークン列の確率を予測する異なる言語モデルに基づくアプローチを評価する。 教師なしクラスタリングとコントラスト学習を組み合わせた表現学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T00:11:46Z)
• Triggering Failures: Out-Of-Distribution detection by learning from local adversarial attacks in Semantic Segmentation [76.2621758731288]
  セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。 私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。 3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-08-03T17:09:56Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。