論文の概要: Continual Dialogue State Tracking via Reason-of-Select Distillation
- arxiv url: http://arxiv.org/abs/2408.09846v2
- Date: Wed, 16 Oct 2024 03:15:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 06:55:48.669512
- Title: Continual Dialogue State Tracking via Reason-of-Select Distillation
- Title（参考訳）: Reason-of-Select蒸留による対話状態の連続追跡
- Authors: Yujie Feng, Bo Liu, Xiaoyu Dong, Zexin Lu, Li-Ming Zhan, Albert Y. S. Lam, Xiao-Ming Wu,
- Abstract要約: そこで我々は,新しい「メタ・レゾニング」能力を持つ小型モデルを改良し,Riason-of-Select(RoS)蒸留法を導入する。
ドメインブートストラッププロセスは、複数の可能な値から複雑な対話を識別するモデルの能力を高める。
2つの新しい改善、"多重値分解"戦略とセマンティックコントラスト推論選択法は、RoSを大幅に向上させた。
- 参考スコア（独自算出の注目度）: 20.844176879145927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An ideal dialogue system requires continuous skill acquisition and adaptation to new tasks while retaining prior knowledge. Dialogue State Tracking (DST), vital in these systems, often involves learning new services and confronting catastrophic forgetting, along with a critical capability loss termed the "Value Selection Quandary." To address these challenges, we introduce the Reason-of-Select (RoS) distillation method by enhancing smaller models with a novel 'meta-reasoning' capability. Meta-reasoning employs an enhanced multi-domain perspective, combining fragments of meta-knowledge from domain-specific dialogues during continual learning. This transcends traditional single-perspective reasoning. The domain bootstrapping process enhances the model's ability to dissect intricate dialogues from multiple possible values. Its domain-agnostic property aligns data distribution across different domains, effectively mitigating forgetting. Additionally, two novel improvements, "multi-value resolution" strategy and Semantic Contrastive Reasoning Selection method, significantly enhance RoS by generating DST-specific selection chains and mitigating hallucinations in teachers' reasoning, ensuring effective and reliable knowledge transfer. Extensive experiments validate the exceptional performance and robust generalization capabilities of our method. The source code is provided for reproducibility.
- Abstract（参考訳）: 理想的な対話システムは、事前知識を維持しながら、継続的なスキル獲得と新しいタスクへの適応を必要とする。
これらのシステムにおいて不可欠な対話状態追跡(DST)は、しばしば「価値選択基準」(Value Selection Quandary)と呼ばれる重要な能力損失とともに、新しいサービスを学び、破滅的な忘れに直面する。
これらの課題に対処するために,我々は,新しい「メタ・レゾニング」機能を持つ小型モデルの強化により,Riason-of-Select(RoS)蒸留法を導入する。
メタ推論は、継続学習中のドメイン固有の対話からメタ知識の断片を組み合わせることで、拡張されたマルチドメインの視点を採用する。
これは伝統的な単一観念的推論を超越する。
ドメインブートストラッププロセスは、複数の可能な値から複雑な対話を識別するモデルの能力を高める。
そのドメインに依存しない性質は、異なるドメインにまたがるデータの分散を調整し、事実上忘れを軽減します。
さらに、DST固有の選択連鎖を生成し、教師の推論における幻覚を緩和し、効果的で信頼性の高い知識伝達を確実にすることで、RoSを著しく向上させる「マルチバリュー解決」戦略とセマンティックコントラスト推論選択法(Semantic Contrastive Reasoning Selection method)が導入された。
大規模な実験により,本手法の優れた性能と堅牢な一般化能力が検証された。
ソースコードは再現性のために提供される。
関連論文リスト
- Few-Shot Dialogue Summarization via Skeleton-Assisted Prompt Transfer in
Prompt Tuning [47.336815771549524]
Skeleton-Assisted Prompt Transferは、対話状態追跡から対話要約へのプロンプト転送を改善する。
本稿では,アノテーションやドメイン知識を必要としない摂動型プローブを用いた新しい手法を提案する。
In-deepth analysis is demonstrated the effective of our method in help a cross-task knowledge transfer in few-shot dialogue summarization。
論文 参考訳（メタデータ） (2023-05-20T03:32:48Z) - Choice Fusion as Knowledge for Zero-Shot Dialogue State Tracking [5.691339955497443]
ゼロショットの対話状態トラッキング(DST)は、望ましいドメインをトレーニングすることなく、タスク指向の対話におけるユーザの要求を追跡する。
ドメインに依存しないQAデータセットに基づいて訓練し、ゼロショット対話状態生成のための知識としてスロット値の候補選択を直接利用するCoFunDSTを提案する。
提案手法は,MultiWOZ 2.1 における既存のゼロショット DST アプローチと比較して,精度が向上する。
論文 参考訳（メタデータ） (2023-02-25T07:32:04Z) - Dialogue State Distillation Network with Inter-Slot Contrastive Learning
for Dialogue State Tracking [25.722458066685046]
対話状態追跡(DST)は,対話履歴からユーザの意図を抽出することを目的としている。
現在、既存のほとんどのアプローチはエラーの伝播に悩まされており、関連する情報を動的に選択することはできない。
本稿では,従来の対話状態の関連情報を活用するために,対話状態蒸留ネットワーク(DSDN)を提案する。
論文 参考訳（メタデータ） (2023-02-16T11:05:24Z) - There Is No Standard Answer: Knowledge-Grounded Dialogue Generation with
Adversarial Activated Multi-Reference Learning [29.093220439736527]
KGC(Knowledge-grounded conversation)は、魅力的で情報的な応答を提供する優れた可能性を示している。
既存のアプローチでは、対話における1対1の現象を見越して、特定の対話コンテキストに与えられた1つの黄金の知識を選択することを強調する。
既存のKGCモデルの1対1の有効性を体系的に評価するための一連の指標を提案する。
論文 参考訳（メタデータ） (2022-10-22T14:43:33Z) - Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。
本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
論文 参考訳（メタデータ） (2022-03-13T13:22:41Z) - Continual Learning for Natural Language Generation in Task-oriented
Dialog Systems [72.92029584113676]
自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。
我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。
この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
論文 参考訳（メタデータ） (2020-10-02T10:32:29Z) - Modelling Hierarchical Structure between Dialogue Policy and Natural
Language Generator with Option Framework for Task-oriented Dialogue System [49.39150449455407]
HDNOは、特定の対話行為表現の設計を避けるために潜在対話行為を設計するためのオプションフレームワークである。
RL,LaRL,HDSAで学習した単語レベルE2Eモデルと比較して,マルチドメイン対話のデータセットであるMultiWoz 2.0とMultiWoz 2.1でHDNOをテストする。
論文 参考訳（メタデータ） (2020-06-11T20:55:28Z) - Meta Dialogue Policy Learning [58.045067703675095]
我々は、ドメイン間の共有可能な低レベル信号を利用するために、Deep Transferable Q-Network (DTQN)を提案する。
状態と行動表現空間をこれらの低レベル成分に対応する特徴部分空間に分解する。
実験において,本モデルは,成功率と対話効率の両方の観点から,ベースラインモデルより優れている。
論文 参考訳（メタデータ） (2020-06-03T23:53:06Z) - Non-Autoregressive Dialog State Tracking [122.2328875457225]
非自己回帰的対話状態追跡(NADST)の新しい枠組みを提案する。
NADSTはドメインとスロット間の潜在的な依存関係を分解し、分離されたスロットではなく完全なセットとして対話状態の予測を改善するためにモデルを最適化する。
以上の結果から,MultiWOZ 2.1コーパス上の全領域にわたる最先端の接合精度が得られた。
論文 参考訳（メタデータ） (2020-02-19T06:39:26Z) - Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue [51.513276162736844]
この問題に対する最初のアプローチとして,逐次潜在変数モデルを提案する。
シーケンシャル・ナレッジ・トランスフォーマー (SKT) という名前のモデルは、知識よりも先行と後続の分布を追跡することができる。
論文 参考訳（メタデータ） (2020-02-18T11:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。