論文の概要: A Multi-Task BERT Model for Schema-Guided Dialogue State Tracking

• arxiv url: http://arxiv.org/abs/2207.00828v1
• Date: Sat, 2 Jul 2022 13:27:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-07 11:56:05.077079
• Title: A Multi-Task BERT Model for Schema-Guided Dialogue State Tracking
• Title（参考訳）: スキーマ誘導対話状態追跡のためのマルチタスクBERTモデル
• Authors: Eleftherios Kapelonis, Efthymios Georgiou, Alexandros Potamianos
• Abstract要約: タスク指向対話システムは対話状態追跡器(DST)を用いて会話を完了させる。 最近の最先端のDST実装は、モデルの堅牢性を改善するために様々なサービスのスキーマに依存している。 本稿では,意図予測,要求スロット予測,スロットフィリングの3つのDSTタスクを協調的に解決する単一マルチタスクBERTモデルを提案する。
• 参考スコア（独自算出の注目度）: 78.2700757742992
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task-oriented dialogue systems often employ a Dialogue State Tracker (DST) to successfully complete conversations. Recent state-of-the-art DST implementations rely on schemata of diverse services to improve model robustness and handle zero-shot generalization to new domains [1], however such methods [2, 3] typically require multiple large scale transformer models and long input sequences to perform well. We propose a single multi-task BERT-based model that jointly solves the three DST tasks of intent prediction, requested slot prediction and slot filling. Moreover, we propose an efficient and parsimonious encoding of the dialogue history and service schemata that is shown to further improve performance. Evaluation on the SGD dataset shows that our approach outperforms the baseline SGP-DST by a large margin and performs well compared to the state-of-the-art, while being significantly more computationally efficient. Extensive ablation studies are performed to examine the contributing factors to the success of our model.
• Abstract（参考訳）: タスク指向対話システムは対話状態追跡器(DST)を用いて会話を完了させる。 最近のdst実装は、モデルの堅牢性を改善し、新しいドメインへのゼロショット一般化を扱うために多様なサービスのスキーマに依存するが、[2, 3]の手法は一般的に、複数の大規模なトランスフォーマーモデルと長い入力シーケンスを必要とする。 本稿では,意図予測,要求スロット予測,スロットフィリングの3つのDSTタスクを協調的に解決する単一マルチタスクBERTモデルを提案する。 さらに,対話履歴とサービススキーマの効率的かつ同義的な符号化を提案し,さらなる性能向上を図っている。 sgdデータセットの評価により,本手法はsgp-dstのベースラインを高いマージンで上回り,最先端と比較して優れた性能を示すが,計算効率は極めて高い。 本モデルの成功に寄与する要因を検討するため,広範なアブレーション研究を行った。

関連論文リスト

• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• A Large-Scale Evaluation of Speech Foundation Models [110.95827399522204]
  音声処理ユニバーサルパフォーマンスベンチマーク(SUPERB)を構築し,基礎モデルパラダイムの有効性について検討する。 凍結基盤モデルを用いてSUPERBにおける音声処理タスクに対処する統合マルチタスクフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-15T00:03:16Z)
• Guiding Language Model Reasoning with Planning Tokens [122.43639723387516]
  大規模言語モデル(LLM)は、最近、複雑な推論タスクを実行する能力に対して、かなりの関心を集めている。 より構造的なチェーン・オブ・シークレット・ステップの創出を促す階層的な生成手法を提案する。 提案手法では、トレーニング可能なパラメータ(0.001%)の無視可能な増加が必要であり、完全な微調整か、よりパラメータ効率の良いスキームで適用することができる。
  論文  参考訳（メタデータ） (2023-10-09T13:29:37Z)
• Span-Selective Linear Attention Transformers for Effective and Robust Schema-Guided Dialogue State Tracking [7.176787451868171]
  本稿では,従来の手法よりも優れた一般化と効率を実現する新しいアーキテクチャであるSPLATを紹介する。 本稿では,SGD(Guided Dialogue)とMultiWOZ(MultiWOZ)データセットにおけるモデルの有効性を示す。
  論文  参考訳（メタデータ） (2023-06-15T17:59:31Z)
• DiSTRICT: Dialogue State Tracking with Retriever Driven In-Context Tuning [7.5700317050237365]
  対話状態追跡(DST)のための一般化可能なインコンテキストチューニング手法であるDiSTRICTを提案する。 DSTRICTは、手作りのテンプレートを使わずにモデルを微調整するために、与えられた対話のための非常に関連性の高いトレーニング例を検索する。 MultiWOZベンチマークデータセットによる実験では、DiSTRICTは、さまざまなゼロショットおよび少数ショット設定において、既存のアプローチよりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2022-12-06T09:40:15Z)
• Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System [26.837972034630003]
  PPTODはタスク指向対話のための統一的なプラグアンドプレイモデルである。 エンド・ツー・エンドの対話モデル、対話状態追跡、意図分類を含む3つのベンチマークTODタスクにおいて、我々のモデルを広範囲にテストする。
  論文  参考訳（メタデータ） (2021-09-29T22:02:18Z)
• SGD-QA: Fast Schema-Guided Dialogue State Tracking for Unseen Services [15.21976869687864]
  質問応答アプローチに基づくスキーマガイドによる対話状態追跡モデルであるSGD-QAを提案する。 提案するマルチパスモデルは、ドメイン情報と対話発話の間で単一のエンコーダを共有する。 このモデルでは、シングルパスベースラインモデルと比較して少なくとも1.6倍の性能が向上している。
  論文  参考訳（メタデータ） (2021-05-17T17:54:32Z)
• RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems [75.87418236410296]
  我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。 RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。 先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-29T08:58:49Z)
• A Fast and Robust BERT-based Dialogue State Tracker for Schema-Guided Dialogue Dataset [8.990035371365408]
  本稿では,目標指向対話システムにおける状態追跡のための高速かつ堅牢なBERTベースモデルであるFastSGTを紹介する。 提案モデルは自然言語記述を含むGuided Dialogueデータセットのために設計されている。 本モデルでは,精度を著しく向上しつつ,計算およびメモリ消費の面で効率を保っている。
  論文  参考訳（メタデータ） (2020-08-27T18:51:18Z)
• Non-Autoregressive Dialog State Tracking [122.2328875457225]
  非自己回帰的対話状態追跡(NADST)の新しい枠組みを提案する。 NADSTはドメインとスロット間の潜在的な依存関係を分解し、分離されたスロットではなく完全なセットとして対話状態の予測を改善するためにモデルを最適化する。 以上の結果から,MultiWOZ 2.1コーパス上の全領域にわたる最先端の接合精度が得られた。
  論文  参考訳（メタデータ） (2020-02-19T06:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。