論文の概要: Task Conditioned BERT for Joint Intent Detection and Slot-filling

• arxiv url: http://arxiv.org/abs/2308.06165v1
• Date: Fri, 11 Aug 2023 14:47:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 13:45:34.184422
• Title: Task Conditioned BERT for Joint Intent Detection and Slot-filling
• Title（参考訳）: タスク条件付きBERTによるジョイントインテント検出とスロット充填
• Authors: Diogo Tavares and Pedro Azevedo and David Semedo and Ricardo Sousa and Jo\~ao Magalh\~aes
• Abstract要約: 本稿では,これらの課題を一つの統一モデルとして解決することで,異なるタスク間でパラメータ支援データの転送が可能になるという仮説を考察する。 提案した原理モデルはTransformerエンコーダに基づいており、複数のタスクで訓練され、ターゲットの推論にモデルを条件付けるリッチな入力によって活用される。
• 参考スコア（独自算出の注目度）: 4.564638655448509
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dialogue systems need to deal with the unpredictability of user intents to track dialogue state and the heterogeneity of slots to understand user preferences. In this paper we investigate the hypothesis that solving these challenges as one unified model will allow the transfer of parameter support data across the different tasks. The proposed principled model is based on a Transformer encoder, trained on multiple tasks, and leveraged by a rich input that conditions the model on the target inferences. Conditioning the Transformer encoder on multiple target inferences over the same corpus, i.e., intent and multiple slot types, allows learning richer language interactions than a single-task model would be able to. In fact, experimental results demonstrate that conditioning the model on an increasing number of dialogue inference tasks leads to improved results: on the MultiWOZ dataset, the joint intent and slot detection can be improved by 3.2\% by conditioning on intent, 10.8\% by conditioning on slot and 14.4\% by conditioning on both intent and slots. Moreover, on real conversations with Farfetch costumers, the proposed conditioned BERT can achieve high joint-goal and intent detection performance throughout a dialogue.
• Abstract（参考訳）: 対話システムはユーザの意図の予測不可能さに対処し,ユーザの好みを理解するために,対話状態とスロットの不均一性を追跡する必要がある。 本稿では,これらの課題を統一モデルとして解決することで,異なるタスク間でパラメータ支援データの転送が可能になるという仮説を考察する。 提案した原理モデルはTransformerエンコーダに基づいており、複数のタスクで訓練され、ターゲットの推論にモデルを条件付けるリッチな入力によって活用される。 トランスフォーマーエンコーダを同一コーパス上の複数のターゲット推論、すなわちインテントと複数のスロットタイプで条件付けすることで、シングルタスクモデルよりも豊かな言語インタラクションを学ぶことができる。 実際、実験の結果、対話推論タスクの増加によるモデル条件付けは改善され、MultiWOZデータセットでは、インテント条件付きで結合インテントとスロット検出が3.2\%、スロット条件付きで10.8\%、インテント条件付きで14.4\%向上することが示されている。 さらに,Farfetchコスチューラーとの実際の会話において,提案した条件付きBERTは対話を通して高い共同ゴールおよび意図検出性能を実現することができる。

関連論文リスト

• Joint Multiple Intent Detection and Slot Filling with Supervised Contrastive Learning and Self-Distillation [4.123763595394021]
  複数の意図の検出とスロットフィリングは、音声言語理解における基本的かつ重要なタスクである。 インテントを同時に検出し、スロットを抽出できるジョイントモデルが好ましい。 本稿では,これらの課題に対処して複数の意図の検出とスロットフィリングを行う手法を提案する。
  論文  参考訳（メタデータ） (2023-08-28T15:36:33Z)
• Gated Mechanism Enhanced Multi-Task Learning for Dialog Routing [28.870359916550996]
  ゲート機構強化マルチタスクモデル(G3M) 提案では、新しいダイアログエンコーダと、2つの調整されたゲート機構モジュールを提案する。 実世界のアプリケーションから収集した2つのデータセットに基づいて,本手法の有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2023-04-07T16:51:46Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
  マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。 次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2022-05-02T21:41:14Z)
• Reasoning in Dialog: Improving Response Generation by Context Reading Comprehension [49.92173751203827]
  マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。 読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
  論文  参考訳（メタデータ） (2020-12-14T10:58:01Z)
• Example-Driven Intent Prediction with Observers [15.615065041164629]
  本稿では,対話システムに宛てた発話に対して,ユーザの意図を識別することを目的とした意図分類問題に焦点をあてる。 本稿では,(1)観察者および(2)サンプル駆動学習という,発話分類モデルの一般化性向上のための2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-17T01:03:06Z)
• A Co-Interactive Transformer for Joint Slot Filling and Intent Detection [61.109486326954205]
  音声言語理解システム(SLU)を構築する上では,インテント検出とスロットフィリングが主要な2つのタスクである。 以前の研究では、2つのタスクを個別にモデル化するか、インテントからスロットへの単一の情報フローのみを考慮していた。 本稿では,2つのタスク間の相互影響を同時に検討するコ・インターアクティブ・トランスフォーマーを提案する。
  論文  参考訳（メタデータ） (2020-10-08T10:16:52Z)
• DCR-Net: A Deep Co-Interactive Relation Network for Joint Dialog Act Recognition and Sentiment Classification [77.59549450705384]
  ダイアログシステムでは、ダイアログアクト認識と感情分類は2つの相関タスクである。 既存のシステムのほとんどは、それらを別々のタスクとして扱うか、単に2つのタスクを一緒にモデル化するだけです。 本稿では,2つのタスク間の相互作用をモデル化するディープ・コ・インタラクティブ・リレーショナル・ネットワーク(DCR-Net)を提案する。
  論文  参考訳（メタデータ） (2020-08-16T14:13:32Z)
• Efficient Intent Detection with Dual Sentence Encoders [53.16532285820849]
  本稿では,USE や ConveRT などの事前訓練された二重文エンコーダによるインテント検出手法を提案する。 提案するインテント検出器の有用性と適用性を示し,完全なBERT-Largeモデルに基づくインテント検出器よりも優れた性能を示す。 コードだけでなく、新しい挑戦的な単一ドメイン意図検出データセットもリリースしています。
  論文  参考訳（メタデータ） (2020-03-10T15:33:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。