論文の概要: Knowing What You Know: Calibrating Dialogue Belief State Distributions via Ensembles

• arxiv url: http://arxiv.org/abs/2010.02586v2
• Date: Thu, 5 Nov 2020 10:56:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 05:08:57.482291
• Title: Knowing What You Know: Calibrating Dialogue Belief State Distributions via Ensembles
• Title（参考訳）: 知っていることを知る:アンサンブルによる対話の信念状態分布の校正
• Authors: Carel van Niekerk, Michael Heck, Christian Geishauser, Hsien-Chin Lin, Nurul Lubis, Marco Moresi, Milica Ga\v{s}i\'c
• Abstract要約: 現在のマルチドメイン対話状態トラッカーは、現在のgo-toベンチマークで55%以上の精度を達成する。 一方、信念トラッカーは、可能な対話状態の分布を維持している。 モデルの校正アンサンブルを用いた多領域対話信念トラッカーの校正における最先端性能について述べる。
• 参考スコア（独自算出の注目度）: 2.7863256795579705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to accurately track what happens during a conversation is essential for the performance of a dialogue system. Current state-of-the-art multi-domain dialogue state trackers achieve just over 55% accuracy on the current go-to benchmark, which means that in almost every second dialogue turn they place full confidence in an incorrect dialogue state. Belief trackers, on the other hand, maintain a distribution over possible dialogue states. However, they lack in performance compared to dialogue state trackers, and do not produce well calibrated distributions. In this work we present state-of-the-art performance in calibration for multi-domain dialogue belief trackers using a calibrated ensemble of models. Our resulting dialogue belief tracker also outperforms previous dialogue belief tracking models in terms of accuracy.
• Abstract（参考訳）: 対話システムの性能には,会話中に何が起こるかを正確に追跡する能力が不可欠である。 現在の最先端のマルチドメイン対話状態トラッカーは、現在のgo-toベンチマークで55%以上の精度を達成している。 一方、信念追跡者は、可能な対話状態に対して分布を維持する。 しかし、対話状態トラッカーに比べて性能に欠けており、適切に校正された分布を生成できない。 本研究では,マルチドメイン対話信条トラッカのキャリブレーションにおいて,キャリブレーションモデルを用いたキャリブレーションの最先端性能を示す。 得られた対話信念トラッカーは,従来の対話信念トラッカーモデルよりも精度が高い。

関連論文リスト

• Are cascade dialogue state tracking models speaking out of turn in spoken dialogues? [1.786898113631979]
  本稿では,対話状態追跡のような複雑な環境下でのアートシステムのエラーを包括的に解析する。 音声MultiWozに基づいて、音声対話システムとチャットベースの対話システムとのギャップを埋めるためには、非カテゴリースロットの値の誤差に対処することが不可欠である。
  論文  参考訳（メタデータ） (2023-11-03T08:45:22Z)
• SuperDialseg: A Large-scale Dataset for Supervised Dialogue Segmentation [55.82577086422923]
  文書地上対話の助けを借りて,対話のセグメンテーションポイントを実現可能な定義を提供する。 我々は,9,478の対話を含むSuperDialsegと呼ばれる大規模教師付きデータセットをリリースする。 また、対話セグメンテーションタスクの5つのカテゴリにまたがる18のモデルを含むベンチマークも提供する。
  論文  参考訳（メタデータ） (2023-05-15T06:08:01Z)
• Beyond the Granularity: Multi-Perspective Dialogue Collaborative Selection for Dialogue State Tracking [18.172993687706708]
  対話状態追跡においては、対話履歴は重要な材料であり、その利用法は異なるモデルによって異なる。 状態更新のために各スロットに対応する対話内容を動的に選択するDiCoS-DSTを提案する。 提案手法は,MultiWOZ 2.1およびMultiWOZ 2.2上での最先端性能を実現し,複数の主流ベンチマークデータセット上での優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-05-20T10:08:45Z)
• "How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations [87.95711406978157]
  本研究は、音声タスク指向会話における新しいベンチマークを示す。 マルチドメイン対話状態追跡と知識基底型対話モデルについて検討する。 我々のデータセットは,タスク指向対話システムの音声によるベンチマークを可能にする。
  論文  参考訳（メタデータ） (2021-09-28T04:51:04Z)
• Dialogue State Tracking with Multi-Level Fusion of Predicted Dialogue States and Conversations [2.6529642559155944]
  予測対話状態と会話ネットワークの多レベル融合による対話状態追跡を提案する。 本モデルでは,各発話,対応する最終対話状態,対話スロット間の相互作用をモデル化することにより,各対話ターンに関する情報を抽出する。
  論文  参考訳（メタデータ） (2021-07-12T02:30:30Z)
• DynaEval: Unifying Turn and Dialogue Level Evaluation [60.66883575106898]
  統合された自動評価フレームワークDynaEvalを提案する。 ターンレベルの評価を行うことができるが、対話全体の品質を公平に考慮することもできる。 実験の結果,DynaEvalは最先端の対話コヒーレンスモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-06-02T12:23:18Z)
• CoCo: Controllable Counterfactuals for Evaluating Dialogue State Trackers [92.5628632009802]
  本稿では,このギャップを橋渡しし,新たなシナリオにおける対話状態追跡(DST)モデルを評価するための制御可能な対策(CoCo)を提案する。 CoCoは、2つのステップで新しい会話シナリオを生成する: (i) スロットをドロップして追加し、スロット値を置き換えて、 (ii) (i) で条件付きで対話フローと整合する対実会話生成。 人間による評価では、COCO生成された会話は95%以上の精度でユーザー目標を完璧に反映し、元の会話と同じくらい人間らしくなっている。
  論文  参考訳（メタデータ） (2020-10-24T09:39:35Z)
• Dialogue State Induction Using Neural Latent Variable Models [28.94392864885589]
  本稿では、未ラベルの顧客サービス対話記録から対話状態を自動的にマイニングする2つのニューラル潜在変数モデルを構築し、対話状態誘導の課題を提案する。 結果は、モデルが意味のあるスロットを効果的に見つけることができることを示している。 最先端の対話システムでは,対話状態モジュールを使用しない場合に比べ,パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-08-13T03:14:25Z)
• Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
  本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。 実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
  論文  参考訳（メタデータ） (2020-05-27T02:05:33Z)
• Non-Autoregressive Dialog State Tracking [122.2328875457225]
  非自己回帰的対話状態追跡(NADST)の新しい枠組みを提案する。 NADSTはドメインとスロット間の潜在的な依存関係を分解し、分離されたスロットではなく完全なセットとして対話状態の予測を改善するためにモデルを最適化する。 以上の結果から,MultiWOZ 2.1コーパス上の全領域にわたる最先端の接合精度が得られた。
  論文  参考訳（メタデータ） (2020-02-19T06:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。