論文の概要: SGD-X: A Benchmark for Robust Generalization in Schema-Guided Dialogue Systems

• arxiv url: http://arxiv.org/abs/2110.06800v1
• Date: Wed, 13 Oct 2021 15:38:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 14:30:46.402330
• Title: SGD-X: A Benchmark for Robust Generalization in Schema-Guided Dialogue Systems
• Title（参考訳）: SGD-X:スキーマ誘導対話システムにおけるロバスト一般化のためのベンチマーク
• Authors: Harrison Lee and Raghav Gupta and Abhinav Rastogi and Yuan Cao and Bin Zhang and Yonghui Wu
• Abstract要約: SGD-Xは,スキーマの言語的変化に対する対話システムの堅牢性を評価するベンチマークである。 我々は,SGD-X上での2つの対話状態追跡モデルの評価を行い,どちらもスキーマのバリエーションに対してうまく一般化していないことを観察した。 本稿では,スキーマのロバスト性やゼロショットの一般化を改善するため,単純なモデルに依存しないデータ拡張手法を提案する。
• 参考スコア（独自算出の注目度）: 26.14268488547028
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Zero/few-shot transfer to unseen services is a critical challenge in task-oriented dialogue research. The Schema-Guided Dialogue (SGD) dataset introduced a paradigm for enabling models to support an unlimited number of services without additional data collection or re-training through the use of schemas. Schemas describe service APIs in natural language, which models consume to understand the services they need to support. However, the impact of the choice of language in these schemas on model performance remains unexplored. We address this by releasing SGD-X, a benchmark for measuring the robustness of dialogue systems to linguistic variations in schemas. SGD-X extends the SGD dataset with crowdsourced variants for every schema, where variants are semantically similar yet stylistically diverse. We evaluate two dialogue state tracking models on SGD-X and observe that neither generalizes well across schema variations, measured by joint goal accuracy and a novel metric for measuring schema sensitivity. Furthermore, we present a simple model-agnostic data augmentation method to improve schema robustness and zero-shot generalization to unseen services.
• Abstract（参考訳）: ゼロ/フェウショットのサービスへの転送は、タスク指向の対話研究において重要な課題である。 schema-guided dialogue(sgd)データセットは、モデルが追加のデータ収集やスキーマの使用による再トレーニングなしに無制限のサービスをサポートするためのパラダイムを導入した。 スキーマは自然言語でサービスAPIを記述する。 しかし、これらのスキーマにおける言語の選択がモデルパフォーマンスに与える影響は未定である。 SGD-Xは,スキーマの言語的変化に対する対話システムの堅牢性を評価するベンチマークである。 SGD-XはSGDデータセットを拡張し、すべてのスキーマに対してクラウドソーシングされた変種で、変種はセマンティックに類似しているがスタイリスティックに多様である。 2つの対話状態追跡モデルをsgd-x上で評価し,共同目標精度で測定したスキーマのばらつきと,スキーマの感度を測定するための新しい指標について検討した。 さらに,スキーマの堅牢性やゼロショットの一般化を改善するため,単純なモデルに依存しないデータ拡張手法を提案する。

関連論文リスト

• Matchmaker: Self-Improving Large Language Model Programs for Schema Matching [60.23571456538149]
  本稿では,スキーママッチングのための合成言語モデルプログラムを提案する。 Matchmakerは、ラベル付きデモを必要とせずに、ゼロショットで自己改善する。 実証的に、Matchmakerが以前のMLベースのアプローチより優れている実世界の医療スキーママッチングベンチマークを実証する。
  論文  参考訳（メタデータ） (2024-10-31T16:34:03Z)
• LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
  テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。 以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。 具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
  論文  参考訳（メタデータ） (2024-06-24T03:36:29Z)
• Schema Graph-Guided Prompt for Multi-Domain Dialogue State Tracking [16.955887768832046]
  対話スキーマを組み込んでドメイン固有のプロンプトを学習するグラフベースのフレームワークを提案する。 具体的には、グラフニューラルネットワークによって符号化されたドメイン固有スキーマを事前訓練された言語モデルに組み込む。 本実験は,提案手法が他のマルチドメインDST手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-10T19:00:02Z)
• Span-Selective Linear Attention Transformers for Effective and Robust Schema-Guided Dialogue State Tracking [7.176787451868171]
  本稿では,従来の手法よりも優れた一般化と効率を実現する新しいアーキテクチャであるSPLATを紹介する。 本稿では,SGD(Guided Dialogue)とMultiWOZ(MultiWOZ)データセットにおけるモデルの有効性を示す。
  論文  参考訳（メタデータ） (2023-06-15T17:59:31Z)
• More Robust Schema-Guided Dialogue State Tracking via Tree-Based Paraphrase Ranking [0.0]
  スキーマ誘導対話状態追跡(DST)構築に優れた微調整言語モデル 本稿では,木に基づくランキングを用いて,多様性と意味的忠実度を協調的に最適化する合成スキーマを生成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-17T11:43:08Z)
• A Multi-Task BERT Model for Schema-Guided Dialogue State Tracking [78.2700757742992]
  タスク指向対話システムは対話状態追跡器(DST)を用いて会話を完了させる。 最近の最先端のDST実装は、モデルの堅牢性を改善するために様々なサービスのスキーマに依存している。 本稿では,意図予測,要求スロット予測,スロットフィリングの3つのDSTタスクを協調的に解決する単一マルチタスクBERTモデルを提案する。
  論文  参考訳（メタデータ） (2022-07-02T13:27:59Z)
• Show, Don't Tell: Demonstrations Outperform Descriptions for Schema-Guided Task-Oriented Dialogue [27.43338545216015]
  Show, Don't TellはSeq2seqモデリングのプロンプトフォーマットで、ショートラベル付きサンプルダイアログを使用してスキーマ要素のセマンティクスを示す。 サービス開発者からも同様の努力を必要とする一方で、大規模な言語モデルによるスキーマ表現としてショートサンプルを使用することで、パフォーマンスが向上し、一般化が向上することを示す。
  論文  参考訳（メタデータ） (2022-04-08T23:27:18Z)
• Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
  言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-31T18:11:21Z)
• SGD-QA: Fast Schema-Guided Dialogue State Tracking for Unseen Services [15.21976869687864]
  質問応答アプローチに基づくスキーマガイドによる対話状態追跡モデルであるSGD-QAを提案する。 提案するマルチパスモデルは、ドメイン情報と対話発話の間で単一のエンコーダを共有する。 このモデルでは、シングルパスベースラインモデルと比較して少なくとも1.6倍の性能が向上している。
  論文  参考訳（メタデータ） (2021-05-17T17:54:32Z)
• RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems [75.87418236410296]
  我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。 RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。 先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-29T08:58:49Z)
• Few-shot Natural Language Generation for Task-Oriented Dialog [113.07438787659859]
  FewShotWozは,タスク指向対話システムにおける数ショットの学習設定をシミュレートする最初の NLG ベンチマークである。 我々は, SC-GPTモデルを開発し, その制御可能な生成能力を得るために, 注釈付きNLGコーパスの大規模なセットで事前学習を行った。 FewShotWozとMulti-Domain-WOZデータセットの実験は、提案したSC-GPTが既存の手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-02-27T18:48:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。