論文の概要: Revisiting Mahalanobis Distance for Transformer-Based Out-of-Domain Detection

• arxiv url: http://arxiv.org/abs/2101.03778v1
• Date: Mon, 11 Jan 2021 09:10:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-04 19:58:57.208642
• Title: Revisiting Mahalanobis Distance for Transformer-Based Out-of-Domain Detection
• Title（参考訳）: 変圧器を用いた領域外検出のためのマハラノビス距離の再検討
• Authors: Alexander Podolskiy and Dmitry Lipin and Andrey Bout and Ekaterina Artemova and Irina Piontkovskaya
• Abstract要約: 本稿では,ドメイン外インテント検出手法を徹底的に比較する。 意図分類のための3つの標準データセット上で,複数のコンテキストエンコーダとメソッドを効率良く評価する。 本研究の主目的は,超微調整トランスフォーマーを用いたドメイン内データエンコーダが優れた結果をもたらすことである。
• 参考スコア（独自算出の注目度）: 60.88952532574564
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Real-life applications, heavily relying on machine learning, such as dialog systems, demand out-of-domain detection methods. Intent classification models should be equipped with a mechanism to distinguish seen intents from unseen ones so that the dialog agent is capable of rejecting the latter and avoiding undesired behavior. However, despite increasing attention paid to the task, the best practices for out-of-domain intent detection have not yet been fully established. This paper conducts a thorough comparison of out-of-domain intent detection methods. We prioritize the methods, not requiring access to out-of-domain data during training, gathering of which is extremely time- and labor-consuming due to lexical and stylistic variation of user utterances. We evaluate multiple contextual encoders and methods, proven to be efficient, on three standard datasets for intent classification, expanded with out-of-domain utterances. Our main findings show that fine-tuning Transformer-based encoders on in-domain data leads to superior results. Mahalanobis distance, together with utterance representations, derived from Transformer-based encoders, outperforms other methods by a wide margin and establishes new state-of-the-art results for all datasets. The broader analysis shows that the reason for success lies in the fact that the fine-tuned Transformer is capable of constructing homogeneous representations of in-domain utterances, revealing geometrical disparity to out of domain utterances. In turn, the Mahalanobis distance captures this disparity easily.
• Abstract（参考訳）: ダイアログシステムのような機械学習に大きく依存する実生活アプリケーションでは、ドメイン外検出メソッドが要求される。 インテント分類モデルは、見知らぬ意図を識別する機構を備えて、ダイアログエージェントが後者を拒絶し、望ましくない振る舞いを避けることができるようにすべきである。 しかし,タスクに注意を払っているにもかかわらず,ドメイン外意図検出のベストプラクティスは確立されていない。 本稿では,ドメイン外インテント検出手法を徹底的に比較する。 学習中のドメイン外データへのアクセスを必要とせず,ユーザの発話の語彙的・形式的変動により,極めて時間と労力を要する手法を優先する。 インテント分類のための3つの標準データセットにおいて,複数のコンテクストエンコーダと手法を評価し,その効率性を確認した。 本研究の主目的は,細調整トランスフォーマーを用いたインドメインデータエンコーダが優れた結果をもたらすことである。 マハラノビス距離は、トランスフォーマーベースのエンコーダから派生した発話表現とともに、他の手法を広いマージンで上回り、すべてのデータセットに対して新たな最先端結果を確立する。 より広範に分析したところ、成功の理由は、微調整トランスフォーマーがドメイン内発話の均質表現を構築でき、ドメイン内発話の幾何学的相違が明らかになるという事実にある。 マハラノビス距離は容易にこの差を捉えている。

関連論文リスト

• Low-confidence Samples Matter for Domain Adaptation [47.552605279925736]
  ドメイン適応(DA)は、知識をラベルの豊富なソースドメインから関連するがラベルの少ないターゲットドメインに転送することを目的としている。 低信頼度サンプルの処理による新しいコントラスト学習法を提案する。 提案手法を教師なしと半教師付きの両方のDA設定で評価する。
  論文  参考訳（メタデータ） (2022-02-06T15:45:45Z)
• Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D Object Detection [85.11649974840758]
  3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。 そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:42:42Z)
• Conditional Extreme Value Theory for Open Set Video Domain Adaptation [17.474956295874797]
  本稿では,ソースとターゲットデータ間の領域差を軽減するために,オープンセットの映像領域適応手法を提案する。 負の伝達問題を緩和するために、サンプルエントロピーからしきい値までの距離によって計算された重みを、対向学習に活用する。 提案手法は,小規模と大規模の両方のクロスドメインビデオデータセットに対して徹底的に評価されている。
  論文  参考訳（メタデータ） (2021-09-01T10:51:50Z)
• AFAN: Augmented Feature Alignment Network for Cross-Domain Object Detection [90.18752912204778]
  オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。 本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。 提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-10T05:01:20Z)
• Unsupervised Out-of-Domain Detection via Pre-trained Transformers [56.689635664358256]
  ドメイン外の入力は予測不能なアウトプットを引き起こし、時には破滅的な安全性の問題を引き起こす。 本研究は、教師なしのドメイン内データのみを用いて、ドメイン外サンプルを検出する問題に対処する。 検出精度を高めるために、ドメイン固有の2つの微調整手法が提案されている。
  論文  参考訳（メタデータ） (2021-06-02T05:21:25Z)
• Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision [73.76277367528657]
  畳み込みニューラルネットワークに基づくアプローチは、セマンティックセグメンテーションにおいて顕著な進歩を遂げた。 この制限に対処するために、グラフィックエンジンから生成された注釈付きデータを使用してセグメンテーションモデルをトレーニングする。 ドメイン間およびドメイン間ギャップを最小化する2段階の自己教師付きドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2020-04-16T15:24:11Z)
• Cross-domain Object Detection through Coarse-to-Fine Feature Adaptation [62.29076080124199]
  本稿では,クロスドメインオブジェクト検出のための特徴適応手法を提案する。 粗粒度では、アテンション機構を採用して前景領域を抽出し、その辺縁分布に応じて整列する。 粒度の細かい段階では、同じカテゴリのグローバルプロトタイプと異なるドメインとの距離を最小化することにより、前景の条件分布アライメントを行う。
  論文  参考訳（メタデータ） (2020-03-23T13:40:06Z)
• Focus on Semantic Consistency for Cross-domain Crowd Understanding [34.560447389853614]
  いくつかのドメイン適応アルゴリズムは、合成データでモデルをトレーニングすることでそれを解放しようとする。 その結果,背景領域における推定誤差が既存手法の性能を阻害していることが判明した。 本稿では,ドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T08:51:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。