論文の概要: Z-BERT-A: a zero-shot Pipeline for Unknown Intent detection

• arxiv url: http://arxiv.org/abs/2208.07084v2
• Date: Thu, 18 Aug 2022 14:41:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-19 11:21:22.634032
• Title: Z-BERT-A: a zero-shot Pipeline for Unknown Intent detection
• Title（参考訳）: Z-BERT-A:未知物体検出のためのゼロショットパイプライン
• Authors: Daniele Comi, Dimitrios Christofidellis, Pier Francesco Piazza and Matteo Manica
• Abstract要約: 本稿では,Transformerアーキテクチャを利用した2段階の意図発見手法であるZ-BERTAを提案する。 Z-BERT-Aは最初自然言語推論(NLI)のために訓練され、後にゼロショット設定で未知のインテント分類に適用される。 我々は、Z-BERT-Aが2つのゼロショット設定(既知のインテント分類と目に見えないインテント発見)において、多種多様なベースラインを上回っていることを示す。
• 参考スコア（独自算出の注目度）: 3.226913287627533
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Intent discovery is a fundamental task in NLP, and it is increasingly relevant for a variety of industrial applications (Quarteroni 2018). The main challenge resides in the need to identify from input utterances novel unseen in-tents. Herein, we propose Z-BERT-A, a two-stage method for intent discovery relying on a Transformer architecture (Vaswani et al. 2017; Devlin et al. 2018), fine-tuned with Adapters (Pfeiffer et al. 2020), initially trained for Natural Language Inference (NLI), and later applied for unknown in-tent classification in a zero-shot setting. In our evaluation, we firstly analyze the quality of the model after adaptive fine-tuning on known classes. Secondly, we evaluate its performance casting intent classification as an NLI task. Lastly, we test the zero-shot performance of the model on unseen classes, showing how Z-BERT-A can effectively perform in-tent discovery by generating intents that are semantically similar, if not equal, to the ground truth ones. Our experiments show how Z-BERT-A is outperforming a wide variety of baselines in two zero-shot settings: known intents classification and unseen intent discovery. The proposed pipeline holds the potential to be widely applied in a variety of application for customer care. It enables automated dynamic triage using a lightweight model that, unlike large language models, can be easily deployed and scaled in a wide variety of business scenarios. Especially when considering a setting with limited hardware availability and performance whereon-premise or low resource cloud deployments are imperative. Z-BERT-A, predicting novel intents from a single utterance, represents an innovative approach for intent discovery, enabling online generation of novel intents. The pipeline is available as an installable python package at the following link: https://github.com/GT4SD/zberta.
• Abstract（参考訳）: 意図の発見はnlpの基本的なタスクであり、様々な産業応用に益々関係している( quarteroni 2018)。 主な課題は、新しい目立たないインテントの入力発話から識別する必要性にある。 本稿では、Transformerアーキテクチャ(Vaswani et al. 2017; Devlin et al. 2018; fine-tuned with Adapters (Pfeiffer et al. 2020)に依存した意図発見のための2段階手法であるZ-BERT-Aを提案する。 本評価では,まず,既知のクラスにおける適応的微調整後のモデル品質を解析する。 次に,NLIタスクとしてパフォーマンスキャスト意図分類を評価する。 最後に,Z-BERT-Aが意味論的に同一でなくても,真理に近いインテントを生成することによって,モデルが持つゼロショット性能を非可視クラスで検証する。 我々の実験は、Z-BERT-Aが2つのゼロショット設定(既知のインテント分類と見えないインテント発見)において、多種多様なベースラインを上回っていることを示す。 提案するパイプラインは,カスタマケアのさまざまなアプリケーションに適用可能な可能性を秘めている。 大規模な言語モデルとは異なり、さまざまなビジネスシナリオで簡単にデプロイおよびスケールできる軽量モデルを使用して、自動動的トリアージを可能にする。 特に、ハードウェアの可用性とパフォーマンスに制限がある場合、オンプレミスや低リソースのクラウドデプロイメントは必須である。 単一の発話から新しい意図を予測するZ-BERT-Aは、意図発見のための革新的なアプローチであり、新しい意図のオンライン生成を可能にする。 パイプラインは以下のリンクでインストール可能なpythonパッケージとして利用できる。

関連論文リスト

• DialogVCS: Robust Natural Language Understanding in Dialogue System Upgrade [36.433020605744986]
  製品対話システムの定期的な更新では、実際のユーザからの新たなデータが既存のデータにマージされる。 新しい意図が出現し、既存の意図と意味的な絡み合いを持つかもしれない。 4つの対話バージョン管理データセット(VCS)からなる新しいベンチマークをセットアップする。 システム更新における不完全なデータによる意図検出を,肯定的かつ未定な意図を持つ多ラベル分類タスクとして定式化する。
  論文  参考訳（メタデータ） (2023-05-24T05:53:38Z)
• ABINet++: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Spotting [121.11880210592497]
  言語モデルの限られた能力は,1)暗黙的な言語モデリング,2)一方向の特徴表現,3)雑音入力を伴う言語モデルから生じる。 シーンテキストスポッティングのための自律的で双方向かつ反復的なABINet++を提案する。
  論文  参考訳（メタデータ） (2022-11-19T03:50:33Z)
• Zero-Shot Learners for Natural Language Understanding via a Unified Multiple Choice Perspective [26.41585967095811]
  ゼロショット学習は、与えられたタスクでモデルをトレーニングすることを目的としており、追加のトレーニングなしで新しい学習タスクに対処できる。 提案手法は、ゼロショット学習を複数選択タスクに変換し、FLANなどの大規模生成モデルで一般的に使用される問題を回避する。 提案手法は,いくつかのベンチマークにおいて最先端の性能を示し,自然言語推論やテキスト分類といったタスクに対して良好な結果をもたらす。
  論文  参考訳（メタデータ） (2022-10-16T17:24:06Z)
• Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks [77.90900650816046]
  ゼロショットセミパラメトリック言語モデルである$textZemi$を紹介します。 私たちは、新しいセミパラメトリックマルチタスクによるトレーニングパラダイムで、textZemi$をトレーニングします。 具体的には、大規模タスクに依存しない未ラベルコーパスからの検索により、マルチタスクトレーニングとゼロショット評価を強化する。
  論文  参考訳（メタデータ） (2022-10-01T04:08:50Z)
• Multimodal Knowledge Alignment with Reinforcement Learning [103.68816413817372]
  ESPERは言語のみのゼロショットモデルを拡張して、画像や音声のキャプションといったマルチモーダルタスクを未確認にする。 我々の重要な新規性は、強化学習を使用することで、直接監督することなく、多モーダル入力を言語モデル世代に整列させることである。 実験の結果、ESPERはベースラインと様々なゼロショットタスクの事前作業より優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-25T10:12:17Z)
• Federated Distillation of Natural Language Understanding with Confident Sinkhorns [12.681983862338619]
  ユーザデバイス上で訓練された(ローカル)モデルのフェデレーションから,中央(グローバル)モデルを学習するためのアプローチを提案する。 グローバルモデルを学ぶためには,局所モデルに割り当てられたソフトターゲットの信頼度から,グローバルモデル予測の最適輸送コストを最小化する。
  論文  参考訳（メタデータ） (2021-10-06T00:44:00Z)
• Fast Text-Only Domain Adaptation of RNN-Transducer Prediction Network [0.0]
  RNNトランスデューサモデルは,少量のテキストデータのみを用いて,新しいドメインに効果的に適応できることを示した。 本稿では,複数のASR評価タスクを用いて,目標タスクWERにおける相対的な10〜45%の利得が得られる方法を示す。
  論文  参考訳（メタデータ） (2021-04-22T15:21:41Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)
• Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference [150.07326223077405]
  データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。 深部自己注意を伴う識別的近傍分類を提示する。 自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
  論文  参考訳（メタデータ） (2020-10-25T00:39:32Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。