論文の概要: Schema-Guided Semantic Accuracy: Faithfulness in Task-Oriented Dialogue Response Generation

• arxiv url: http://arxiv.org/abs/2301.12568v1
• Date: Sun, 29 Jan 2023 22:32:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 16:21:35.865250
• Title: Schema-Guided Semantic Accuracy: Faithfulness in Task-Oriented Dialogue Response Generation
• Title（参考訳）: schema-guided semantic accuracy: タスク指向対話応答生成における忠実性
• Authors: Jinghong Chen, Weizhe Lin and Bill Byrne
• Abstract要約: 分類スロットと非分類スロットの両方から発生する発話を評価するために,SGSAcc(Guided Semantic Accuracy)を提案する。 本研究では,SGSAccを用いて,人間の判断とよく一致した幅広い対話行動から発生する発話を評価できることを示す。 また、未確認領域のカテゴリー的スロットから忠実な発話を生成するために、これまで見過ごされていた弱点を特定する。
• 参考スコア（独自算出の注目度）: 12.165005406799134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring that generated utterances are faithful to dialogue actions is crucial for Task-Oriented Dialogue Response Generation. Slot Error Rate (SER) only partially measures generation quality in that it solely assesses utterances generated from non-categorical slots whose values are expected to be reproduced exactly. Utterances generated from categorical slots, which are more variable, are not assessed by SER. We propose Schema-Guided Semantic Accuracy (SGSAcc) to evaluate utterances generated from both categorical and non-categorical slots by recognizing textual entailment. We show that SGSAcc can be applied to evaluate utterances generated from a wide range of dialogue actions in the Schema Guided Dialogue (SGD) dataset with good agreement with human judgment. We also identify a previously overlooked weakness in generating faithful utterances from categorical slots in unseen domains. We show that prefix tuning applied to T5 generation can address this problem. We further build an ensemble of prefix-tuning and fine-tuning models that achieves the lowest SER reported and high SGSAcc on the SGD dataset.
• Abstract（参考訳）: タスク指向対話応答生成では,発話生成が対話行動に忠実であることを保証することが重要である。 SER(Slot Error Rate)は生成品質を部分的に測定するだけで、正確に再現されると予想される非カテゴリスロットから発生する発話のみを評価する。 より可変なカテゴリスロットから生成される発話は、SERでは評価されない。 本研究は,カテゴリー的および非カテゴリー的スロットから発生する発話を,テキスト的帰属を認識して評価するためのスキーマ誘導意味的正確性(sgsacc)を提案する。 我々は,SGSAccを用いて,人間の判断とよく一致したSchema Guided Dialogue(SGD)データセットにおいて,幅広い対話行動から発生する発話を評価することができることを示す。 また,未熟な領域におけるカテゴリー的スロットから忠実な発話を生成する上で,これまで見過ごされていた弱点を特定する。 t5世代に適用されるプレフィックスチューニングがこの問題に対処できることを示す。 さらに,SGDデータセット上でのSER報告および高いSGSAccを実現するために,プレフィックスチューニングおよび微調整モデルのアンサンブルを構築する。

関連論文リスト

• Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。 そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• Transforming Slot Schema Induction with Generative Dialogue State Inference [14.06505399101404]
  スロットインジェクション(SSI)は、ラベルのない対話データからスロットを自動的に誘導することを目的としている。 本手法は,対話状態を表すための高品質な候補情報を検出する。 MultiWOZデータセットとSGDデータセットの実験的比較により、生成対話状態推論(Generative Dialogue State Inference, GenDSI)が従来の最先端よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-03T02:41:10Z)
• Context Does Matter: Implications for Crowdsourced Evaluation Labels in Task-Oriented Dialogue Systems [57.16442740983528]
  クラウドソースラベルは、タスク指向の対話システムを評価する上で重要な役割を果たす。 従来の研究では、アノテーションプロセスで対話コンテキストの一部だけを使用することが提案されている。 本研究では,対話文脈がアノテーション品質に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2024-04-15T17:56:39Z)
• SIG: Speaker Identification in Literature via Prompt-Based Generation [13.042070464592374]
  本稿では,設計したプロンプトテンプレートに基づいてタスクと引用入力を言語化する生成手法を提案する。 予測はモデルによって直接生成されるか、各話者候補の最も高い生成確率で決定される。 我々は,このタスクの最大のデータセットであるPDNCにおいて,クロスドメイン評価とドメイン内評価の両方を行う。
  論文  参考訳（メタデータ） (2023-12-22T10:29:18Z)
• InstructTODS: Large Language Models for End-to-End Task-Oriented Dialogue Systems [60.53276524369498]
  大規模言語モデル(LLM)は自然言語処理(NLP)における多様なタスクに使用されている。 InstructTODSは、ゼロショットのタスク指向対話システムのための新しいフレームワークである。 InstructTODSは、ユーザの意図を動的クエリにシームレスに翻訳するプロキシの信念状態を生成する。
  論文  参考訳（メタデータ） (2023-10-13T06:36:26Z)
• Unsupervised Dialogue Topic Segmentation with Topic-aware Utterance Representation [51.22712675266523]
  対話トピック(DTS)は、様々な対話モデリングタスクにおいて重要な役割を果たす。 本稿では,ラベルなし対話データからトピック対応発話表現を学習する,教師なしDSSフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-04T11:35:23Z)
• More Robust Schema-Guided Dialogue State Tracking via Tree-Based Paraphrase Ranking [0.0]
  スキーマ誘導対話状態追跡(DST)構築に優れた微調整言語モデル 本稿では,木に基づくランキングを用いて,多様性と意味的忠実度を協調的に最適化する合成スキーマを生成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-17T11:43:08Z)
• SWING: Balancing Coverage and Faithfulness for Dialogue Summarization [67.76393867114923]
  本稿では,自然言語推論(NLI)モデルを用いて,事実の不整合を回避し,カバレッジを向上させることを提案する。 我々は、NLIを用いて詳細なトレーニング信号を計算し、モデルがカバーされていない参照サマリーのコンテンツを生成することを奨励する。 DialogSumおよびSAMSumデータセットの実験により,提案手法の有効性が確認された。
  論文  参考訳（メタデータ） (2023-01-25T09:33:11Z)
• Dialogue Meaning Representation for Task-Oriented Dialogue Systems [51.91615150842267]
  タスク指向対話のための柔軟かつ容易に拡張可能な表現である対話意味表現(DMR)を提案する。 我々の表現は、合成意味論とタスク固有の概念のためのリッチな意味論を表現するために、継承階層を持つノードとエッジのセットを含んでいる。 異なる機械学習ベースの対話モデルを評価するための2つの評価タスクを提案し、さらにグラフベースのコア参照解決タスクのための新しいコア参照解決モデルGNNCorefを提案する。
  論文  参考訳（メタデータ） (2022-04-23T04:17:55Z)
• SGD-X: A Benchmark for Robust Generalization in Schema-Guided Dialogue Systems [26.14268488547028]
  SGD-Xは,スキーマの言語的変化に対する対話システムの堅牢性を評価するベンチマークである。 我々は,SGD-X上での2つの対話状態追跡モデルの評価を行い,どちらもスキーマのバリエーションに対してうまく一般化していないことを観察した。 本稿では,スキーマのロバスト性やゼロショットの一般化を改善するため,単純なモデルに依存しないデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:38:29Z)
• End-to-end speech-to-dialog-act recognition [38.58540444573232]
  本稿では,音声を直接ダイアログに変換するエンド・ツー・エンドのモデルを提案する。 提案モデルでは,対話行動認識ネットワークは,その潜在層において,音声から単語へのASRモデルと結合する。 ネットワーク全体がエンドツーエンドで微調整されている。
  論文  参考訳（メタデータ） (2020-04-23T18:44:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。