論文の概要: DSTEA: Dialogue State Tracking with Entity Adaptive Pre-training

• arxiv url: http://arxiv.org/abs/2207.03858v1
• Date: Fri, 8 Jul 2022 12:27:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-11 13:42:45.424302
• Title: DSTEA: Dialogue State Tracking with Entity Adaptive Pre-training
• Title（参考訳）: DSTEA: エンティティ適応型事前トレーニングによる対話状態追跡
• Authors: Yukyung Lee, Takyoung Kim, Hoonsang Yoon, Pilsung Kang, Junseong Bang, Misuk Kim
• Abstract要約: 本稿では,エンティティ適応事前学習(DSTEA)による対話状態のトラッキングを提案する。 DSTEAは入力対話から重要なエンティティを4つの方法で抽出し、選択的な知識マスキングを適用してモデルを効果的に訓練する。 MultiWOZ 2.0、2.1、および2.2のベンチマークモデルよりも優れたパフォーマンスを実現した。
• 参考スコア（独自算出の注目度）: 14.494088455520378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dialogue state tracking (DST) is a core sub-module of a dialogue system, which aims to extract the appropriate belief state (domain-slot-value) from a system and user utterances. Most previous studies have attempted to improve performance by increasing the size of the pre-trained model or using additional features such as graph relations. In this study, we propose dialogue state tracking with entity adaptive pre-training (DSTEA), a system in which key entities in a sentence are more intensively trained by the encoder of the DST model. DSTEA extracts important entities from input dialogues in four ways, and then applies selective knowledge masking to train the model effectively. Although DSTEA conducts only pre-training without directly infusing additional knowledge to the DST model, it achieved better performance than the best-known benchmark models on MultiWOZ 2.0, 2.1, and 2.2. The effectiveness of DSTEA was verified through various comparative experiments with regard to the entity type and different adaptive settings.
• Abstract（参考訳）: 対話状態追跡(DST)は、システムとユーザ発話から適切な信念状態(ドメインスロット値)を抽出することを目的とした対話システムのコアサブモジュールである。 これまでのほとんどの研究では、事前訓練されたモデルのサイズを拡大したり、グラフ関係などの追加機能を用いて、性能改善を試みた。 本研究では,dstモデルのエンコーダによって,文中の重要なエンティティをより集中的に訓練するシステムである,エンティティ適応事前学習(dstea)を用いた対話状態追跡を提案する。 DSTEAは入力対話から重要なエンティティを4つの方法で抽出し、選択的な知識マスキングを適用してモデルを効果的に訓練する。 DSTEAはDSTモデルに直接知識を注入することなく事前訓練のみを行うが、MultiWOZ 2.0、2.1、および2.2のベンチマークモデルよりも優れた性能を達成した。 DSTEAの有効性は、エンティティタイプと異なる適応設定に関する様々な比較実験を通じて検証された。

関連論文リスト

• Injecting linguistic knowledge into BERT for Dialogue State Tracking [60.42231674887294]
  本稿では,教師なしの枠組みを用いて言語知識を抽出する手法を提案する。 次に、この知識を用いて、対話状態追跡(DST)タスクにおけるBERTの性能と解釈可能性を高める。 このフレームワークを様々なDSTタスクでベンチマークし、精度の顕著な改善を観察する。
  論文  参考訳（メタデータ） (2023-11-27T08:38:42Z)
• Enhancing Performance on Seen and Unseen Dialogue Scenarios using Retrieval-Augmented End-to-End Task-Oriented System [89.40590076430297]
  この作業により、単純なキャッシュを通じてより柔軟性のあるTODシステムが可能になる。 我々は,TOD生成中に対話履歴と検索情報の両方を参照・基盤にできるエンドツーエンドTODモデルを訓練する。 非空共同ゴール精度を6.7%向上させるなど,我々のフレームワークの優れた性能を示す実験を行った。
  論文  参考訳（メタデータ） (2023-08-16T06:52:10Z)
• Choice Fusion as Knowledge for Zero-Shot Dialogue State Tracking [5.691339955497443]
  ゼロショットの対話状態トラッキング(DST)は、望ましいドメインをトレーニングすることなく、タスク指向の対話におけるユーザの要求を追跡する。 ドメインに依存しないQAデータセットに基づいて訓練し、ゼロショット対話状態生成のための知識としてスロット値の候補選択を直接利用するCoFunDSTを提案する。 提案手法は,MultiWOZ 2.1 における既存のゼロショット DST アプローチと比較して,精度が向上する。
  論文  参考訳（メタデータ） (2023-02-25T07:32:04Z)
• Exploring linguistic feature and model combination for speech recognition based automatic AD detection [61.91708957996086]
  音声ベースの自動ADスクリーニングシステムは、他の臨床スクリーニング技術に代わる非侵襲的でスケーラブルな代替手段を提供する。 専門的なデータの収集は、そのようなシステムを開発する際に、モデル選択と特徴学習の両方に不確実性をもたらす。 本稿では,BERT と Roberta の事前学習したテキストエンコーダのドメイン微調整の堅牢性向上のための特徴とモデルの組み合わせ手法について検討する。
  論文  参考訳（メタデータ） (2022-06-28T05:09:01Z)
• A Study on Prompt-based Few-Shot Learning Methods for Belief State Tracking in Task-oriented Dialog Systems [10.024834304960846]
  タスク指向対話システムにおける対話的状態追跡問題に取り組む。 この問題に対する最近のアプローチでは、Transformerベースのモデルが大きな成果を上げている。 対話的信念状態追跡のためのプロンプトベース数ショット学習について検討する。
  論文  参考訳（メタデータ） (2022-04-18T05:29:54Z)
• Prompt Learning for Few-Shot Dialogue State Tracking [75.50701890035154]
  本稿では,限られたラベル付きデータを用いて,対話状態追跡(DST)モデルを効率的に学習する方法に焦点を当てる。 本稿では,2つの主要なコンポーネントである値ベースプロンプトと逆プロンプト機構からなる,数ショットDSTのためのプロンプト学習フレームワークを設計する。 実験により、我々のモデルは未確認のスロットを生成し、既存の最先端の数ショット法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-15T07:37:33Z)
• RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems [75.87418236410296]
  我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。 RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。 先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-29T08:58:49Z)
• A Fast and Robust BERT-based Dialogue State Tracker for Schema-Guided Dialogue Dataset [8.990035371365408]
  本稿では,目標指向対話システムにおける状態追跡のための高速かつ堅牢なBERTベースモデルであるFastSGTを紹介する。 提案モデルは自然言語記述を含むGuided Dialogueデータセットのために設計されている。 本モデルでは,精度を著しく向上しつつ,計算およびメモリ消費の面で効率を保っている。
  論文  参考訳（メタデータ） (2020-08-27T18:51:18Z)
• A Contextual Hierarchical Attention Network with Adaptive Objective for Dialogue State Tracking [63.94927237189888]
  本稿では,コンテキスト階層型アテンションネットワークを用いて対話状態追跡(DST)を強化することを提案する。 また,訓練中に異なるスロットの重みを動的に調整することでスロット不均衡問題を緩和する適応的目標を提案する。 実験の結果,MultiWOZ 2.0とMultiWOZ 2.1データセットでは52.68%,58.55%のジョイント精度が得られた。
  論文  参考訳（メタデータ） (2020-06-02T12:25:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。