論文の概要: Are Pretrained Transformers Robust in Intent Classification? A Missing Ingredient in Evaluation of Out-of-Scope Intent Detection

• arxiv url: http://arxiv.org/abs/2106.04564v1
• Date: Tue, 8 Jun 2021 17:51:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 17:29:37.987932
• Title: Are Pretrained Transformers Robust in Intent Classification? A Missing Ingredient in Evaluation of Out-of-Scope Intent Detection
• Title（参考訳）: 事前訓練されたトランスフォーマーは意図分類において堅牢か? スコープ外インテント検出における欠失成分の検討
• Authors: Jian-Guo Zhang, Kazuma Hashimoto, Yao Wan, Ye Liu, Caiming Xiong, Philip S. Yu
• Abstract要約: まず、少数ショットの意図認識タスクにおいて、ドメイン内スコープ外検出の重要性を指摘する。 次に、ドメイン内だがスコープ外(ID-OOS)であるサンプルに対して、事前訓練したTransformerベースのモデルの脆弱性を説明する。
• 参考スコア（独自算出の注目度）: 93.40525251094071
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained Transformer-based models were reported to be robust in intent classification. In this work, we first point out the importance of in-domain out-of-scope detection in few-shot intent recognition tasks and then illustrate the vulnerability of pretrained Transformer-based models against samples that are in-domain but out-of-scope (ID-OOS). We empirically show that pretrained models do not perform well on both ID-OOS examples and general out-of-scope examples, especially on fine-grained few-shot intent detection tasks. To figure out how the models mistakenly classify ID-OOS intents as in-scope intents, we further conduct analysis on confidence scores and the overlapping keywords and provide several prospective directions for future work. We release the relevant resources to facilitate future research.
• Abstract（参考訳）: 事前訓練されたトランスフォーマーベースのモデルは意図分類において堅牢であると報告された。 本研究は、まず、少数の意図認識タスクにおけるドメイン内外検出の重要性を指摘し、その上で、ドメイン内だがスコープ外(ID-OOS)であるサンプルに対する事前訓練されたトランスフォーマーベースモデルの脆弱性を説明する。 実験により、事前訓練されたモデルは、ID-OOS例と一般的なスコープ外例の両方、特にきめ細かなショットインテント検出タスクでうまく機能しないことを示す。 モデルがID-OOSインテントをスコープ内インテントとして誤って分類する方法を明らかにするために,信頼性スコアと重なり合うキーワードの分析を行い,今後の作業に向けていくつかの方向を示す。 今後の研究を促進するための関連リソースをリリースする。

関連論文リスト

• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• Stateful Detection of Model Extraction Attacks [9.405458160620535]
  本稿では,サービスのユーザが生成したクエリの分布を追跡し,モデル抽出攻撃を検出する,ステートフルなモニタであるVarDetectを提案する。 VarDetectは、3種類の攻撃者サンプルを良質なサンプルからしっかりと分離し、それぞれにアラームを発生させることに成功した。 本稿では,VarDetectのデプロイに関する事前知識を持つアダプティブアタッカーも検出できることを実証する。
  論文  参考訳（メタデータ） (2021-07-12T02:18:26Z)
• Out-of-Scope Intent Detection with Self-Supervision and Discriminative Training [20.242645823965145]
  タスク指向対話システムにおいて、スコープ外インテント検出は実用上重要である。 本稿では,テストシナリオをシミュレートして,スコープ外インテント分類器をエンドツーエンドに学習する手法を提案する。 提案手法を4つのベンチマーク・ダイアログ・データセット上で広範囲に評価し,最先端のアプローチに対する大幅な改善を観察する。
  論文  参考訳（メタデータ） (2021-06-16T08:17:18Z)
• Generalized Zero-shot Intent Detection via Commonsense Knowledge [5.398580049917152]
  学習データ不足の問題を克服するために,教師なしの方法でコモンセンス知識を活用する意図検出モデル RIDE を提案する。 RIDEは、発話と意図ラベルの間の深い意味的関係をキャプチャする、堅牢で一般化可能な関係メタ機能を計算する。 広範に使用されている3つのインテント検出ベンチマークに関する広範囲な実験的分析により、関係メタ機能により、目に見えないインテントと見えないインテントの両方を検出する精度が著しく向上することが示された。
  論文  参考訳（メタデータ） (2021-02-04T23:36:41Z)
• Revisiting Mahalanobis Distance for Transformer-Based Out-of-Domain Detection [60.88952532574564]
  本稿では,ドメイン外インテント検出手法を徹底的に比較する。 意図分類のための3つの標準データセット上で,複数のコンテキストエンコーダとメソッドを効率良く評価する。 本研究の主目的は,超微調整トランスフォーマーを用いたドメイン内データエンコーダが優れた結果をもたらすことである。
  論文  参考訳（メタデータ） (2021-01-11T09:10:58Z)
• Detection of Adversarial Supports in Few-shot Classifiers Using Feature Preserving Autoencoders and Self-Similarity [89.26308254637702]
  敵対的なサポートセットを強調するための検出戦略を提案する。 我々は,特徴保存型オートエンコーダフィルタリングと,この検出を行うサポートセットの自己相似性の概念を利用する。 提案手法は攻撃非依存であり, 最善の知識まで, 数発分類器の検出を探索する最初の方法である。
  論文  参考訳（メタデータ） (2020-12-09T14:13:41Z)
• Detection as Regression: Certified Object Detection by Median Smoothing [50.89591634725045]
  この研究は、ランダム化平滑化による認定分類の最近の進歩によって動機付けられている。 我々は、$ell$-bounded攻撃に対するオブジェクト検出のための、最初のモデル非依存、トレーニング不要、認定された防御条件を得る。
  論文  参考訳（メタデータ） (2020-07-07T18:40:19Z)
• Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
  本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。 我々は,再建基準の代替として,異常スコアの代替尺度を提案した。 提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-24T08:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。