論文の概要: Z-BERT-A: a zero-shot Pipeline for Unknown Intent detection

• arxiv url: http://arxiv.org/abs/2208.07084v3
• Date: Fri, 8 Dec 2023 16:42:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 19:40:35.686246
• Title: Z-BERT-A: a zero-shot Pipeline for Unknown Intent detection
• Title（参考訳）: Z-BERT-A:未知物体検出のためのゼロショットパイプライン
• Authors: Daniele Comi, Dimitrios Christofidellis, Pier Francesco Piazza and Matteo Manica
• Abstract要約: トランスフォーマーアーキテクチャに基づく多言語意図探索のための2段階手法であるZero-Shot-BERT-Adaptersを提案する。 自然言語推論モデル(NLI)を訓練し、その後、複数の言語に対してゼロショット設定で未知の意図分類を行う。 Zero-Shot-BERT-Adaptersは、2つのゼロショット設定において、既知のインテント分類と目に見えないインテント発見において、さまざまなベースラインよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 3.3135037978828263
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Intent discovery is a crucial task in natural language processing, and it is increasingly relevant for various of industrial applications. Identifying novel, unseen intents from user inputs remains one of the biggest challenges in this field. Herein, we propose Zero-Shot-BERT-Adapters, a two-stage method for multilingual intent discovery relying on a Transformer architecture, fine-tuned with Adapters. We train the model for Natural Language Inference (NLI) and later perform unknown intent classification in a zero-shot setting for multiple languages. In our evaluation, we first analyze the quality of the model after adaptive fine-tuning on known classes. Secondly, we evaluate its performance in casting intent classification as an NLI task. Lastly, we test the zero-shot performance of the model on unseen classes, showing how Zero-Shot-BERT-Adapters can effectively perform intent discovery by generating semantically similar intents, if not equal, to the ground-truth ones. Our experiments show how Zero-Shot-BERT-Adapters outperforms various baselines in two zero-shot settings: known intent classification and unseen intent discovery. The proposed pipeline holds the potential for broad application in customer care. It enables automated dynamic triage using a lightweight model that can be easily deployed and scaled in various business scenarios, unlike large language models. Zero-Shot-BERT-Adapters represents an innovative multi-language approach for intent discovery, enabling the online generation of novel intents. A Python package implementing the pipeline and the new datasets we compiled are available at the following link: https://github.com/GT4SD/zero-shot-bert-adapters.
• Abstract（参考訳）: インテント発見は自然言語処理において重要なタスクであり、様々な産業応用に益々関係している。 ユーザ入力から新規で目に見えないインテントを特定することは、この分野で最大の課題の1つです。 本稿では,トランスフォーマーアーキテクチャに基づく多言語インテント発見のための2段階法であるzero-shot-bert-adaptersを提案する。 自然言語推論モデル(NLI)を訓練し、後に複数の言語に対してゼロショット設定で未知の意図分類を行う。 本評価では,既知のクラスにおける適応的微調整後,まずモデル品質を分析する。 次に,NLIタスクとしてキャスティング意図分類の性能を評価する。 最後に,unseenクラス上でモデルのゼロショット性能をテストし,ゼロショットベルト適応器が意味的に類似したインテントを生成してインテント発見を効果的に行う方法を示した。 実験の結果,Zero-Shot-BERT-Adaptersは2つのゼロショットセッティングにおいて,様々なベースラインよりも優れていることがわかった。 提案するパイプラインは,広範なカスタマケア応用の可能性を持っている。 これは、大きな言語モデルとは異なり、さまざまなビジネスシナリオで容易にデプロイおよびスケールできる軽量モデルを使用して、動的トリアージを自動化する。 Zero-Shot-BERT-Adaptersは、意図発見のための革新的な多言語アプローチであり、新しい意図のオンライン生成を可能にする。 パイプラインを実装したPythonパッケージと、私たちがコンパイルした新しいデータセットは、以下のリンクで利用できる。

関連論文リスト

• DialogVCS: Robust Natural Language Understanding in Dialogue System Upgrade [36.433020605744986]
  製品対話システムの定期的な更新では、実際のユーザからの新たなデータが既存のデータにマージされる。 新しい意図が出現し、既存の意図と意味的な絡み合いを持つかもしれない。 4つの対話バージョン管理データセット(VCS)からなる新しいベンチマークをセットアップする。 システム更新における不完全なデータによる意図検出を,肯定的かつ未定な意図を持つ多ラベル分類タスクとして定式化する。
  論文  参考訳（メタデータ） (2023-05-24T05:53:38Z)
• ABINet++: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Spotting [121.11880210592497]
  言語モデルの限られた能力は,1)暗黙的な言語モデリング,2)一方向の特徴表現,3)雑音入力を伴う言語モデルから生じる。 シーンテキストスポッティングのための自律的で双方向かつ反復的なABINet++を提案する。
  論文  参考訳（メタデータ） (2022-11-19T03:50:33Z)
• Zero-Shot Learners for Natural Language Understanding via a Unified Multiple Choice Perspective [26.41585967095811]
  ゼロショット学習は、与えられたタスクでモデルをトレーニングすることを目的としており、追加のトレーニングなしで新しい学習タスクに対処できる。 提案手法は、ゼロショット学習を複数選択タスクに変換し、FLANなどの大規模生成モデルで一般的に使用される問題を回避する。 提案手法は,いくつかのベンチマークにおいて最先端の性能を示し,自然言語推論やテキスト分類といったタスクに対して良好な結果をもたらす。
  論文  参考訳（メタデータ） (2022-10-16T17:24:06Z)
• Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks [77.90900650816046]
  ゼロショットセミパラメトリック言語モデルである$textZemi$を紹介します。 私たちは、新しいセミパラメトリックマルチタスクによるトレーニングパラダイムで、textZemi$をトレーニングします。 具体的には、大規模タスクに依存しない未ラベルコーパスからの検索により、マルチタスクトレーニングとゼロショット評価を強化する。
  論文  参考訳（メタデータ） (2022-10-01T04:08:50Z)
• Multimodal Knowledge Alignment with Reinforcement Learning [103.68816413817372]
  ESPERは言語のみのゼロショットモデルを拡張して、画像や音声のキャプションといったマルチモーダルタスクを未確認にする。 我々の重要な新規性は、強化学習を使用することで、直接監督することなく、多モーダル入力を言語モデル世代に整列させることである。 実験の結果、ESPERはベースラインと様々なゼロショットタスクの事前作業より優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-25T10:12:17Z)
• Federated Distillation of Natural Language Understanding with Confident Sinkhorns [12.681983862338619]
  ユーザデバイス上で訓練された(ローカル)モデルのフェデレーションから,中央(グローバル)モデルを学習するためのアプローチを提案する。 グローバルモデルを学ぶためには,局所モデルに割り当てられたソフトターゲットの信頼度から,グローバルモデル予測の最適輸送コストを最小化する。
  論文  参考訳（メタデータ） (2021-10-06T00:44:00Z)
• Fast Text-Only Domain Adaptation of RNN-Transducer Prediction Network [0.0]
  RNNトランスデューサモデルは,少量のテキストデータのみを用いて,新しいドメインに効果的に適応できることを示した。 本稿では,複数のASR評価タスクを用いて,目標タスクWERにおける相対的な10〜45%の利得が得られる方法を示す。
  論文  参考訳（メタデータ） (2021-04-22T15:21:41Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)
• Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference [150.07326223077405]
  データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。 深部自己注意を伴う識別的近傍分類を提示する。 自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
  論文  参考訳（メタデータ） (2020-10-25T00:39:32Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。