論文の概要: Diverse Retrieval-Augmented In-Context Learning for Dialogue State Tracking

• arxiv url: http://arxiv.org/abs/2307.01453v1
• Date: Tue, 4 Jul 2023 03:15:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 18:26:36.973498
• Title: Diverse Retrieval-Augmented In-Context Learning for Dialogue State Tracking
• Title（参考訳）: 対話状態追跡のための多種多様な検索学習
• Authors: Brendan King and Jeffrey Flanigan
• Abstract要約: RefPyDSTを提案する。これは対話状態追跡のための文脈内学習に3つの進歩をもたらした技術である。 まず、DSTをPythonプログラミングタスクとして定式化し、Pythonの変数参照として言語コア参照を明示的にモデル化する。 第2に、コンテキスト内学習は文脈の例に大きく依存するため、性能向上のための多様な事例を抽出する手法を提案する。
• 参考スコア（独自算出の注目度）: 3.8073142980733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There has been significant interest in zero and few-shot learning for dialogue state tracking (DST) due to the high cost of collecting and annotating task-oriented dialogues. Recent work has demonstrated that in-context learning requires very little data and zero parameter updates, and even outperforms trained methods in the few-shot setting (Hu et al. 2022). We propose RefPyDST, which advances the state of the art with three advancements to in-context learning for DST. First, we formulate DST as a Python programming task, explicitly modeling language coreference as variable reference in Python. Second, since in-context learning depends highly on the context examples, we propose a method to retrieve a diverse set of relevant examples to improve performance. Finally, we introduce a novel re-weighting method during decoding that takes into account probabilities of competing surface forms, and produces a more accurate dialogue state prediction. We evaluate our approach using MultiWOZ and achieve state-of-the-art multi-domain joint-goal accuracy in zero and few-shot settings.
• Abstract（参考訳）: タスク指向対話の収集と注釈付けのコストが高いため,対話状態追跡(DST)におけるゼロと少数ショット学習に大きな関心が寄せられている。 近年の研究では、コンテキスト内学習では、データやパラメータの更新がほとんど必要とせず、トレーニング済みのメソッドをわずかに超えている(hu et al. 2022)。 本稿では,DSTの文脈内学習に3つの進歩をもたらしたRefPyDSTを提案する。 まず、DSTをPythonプログラミングタスクとして定式化し、Pythonの変数参照として言語コア参照を明示的にモデル化する。 第2に、コンテキスト内学習は文脈の例に大きく依存するため、性能向上のための多様な事例を抽出する手法を提案する。 最後に, 競合する表面形状の確率を考慮したデコード中の新しい再重み付け手法を導入し, より正確な対話状態予測を行う。 提案手法をMultiWOZを用いて評価し、ゼロおよび少数ショット設定で最先端のマルチドメイン共同ゴール精度を実現する。

関連論文リスト

• SynthDST: Synthetic Data is All You Need for Few-Shot Dialog State Tracking [12.300308969720916]
  ダイアログ状態追跡(DST)研究の有望な進路として,Large Language Models (LLMs) を用いたインコンテキスト学習が登場している。 LLM を利用した DST に適したデータ生成フレームワークである DST を提案する。 提案手法では,DSTアノテーションを用いた自然な,一貫性のある,自由な対話を合成するために,対話スキーマと手作りの対話テンプレートのみを必要とする。
  論文  参考訳（メタデータ） (2024-02-03T22:49:00Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• Improving Few-Shot Performance of Language Models via Nearest Neighbor Calibration [12.334422701057674]
  In-context Learning のための近辺校正フレームワークを提案する。 インコンテキスト学習パラダイムは、トレーニングインスタンスを推論する際に誤ったラベルを生成するという現象にインスパイアされている。 テキスト分類タスクの多種多様な実験により,本手法はテキスト内学習を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2022-12-05T12:49:41Z)
• In-Context Learning for Few-Shot Dialogue State Tracking [55.91832381893181]
  In-context (IC) Learning framework for few-shot dialogue state tracking (DST)を提案する。 大規模な事前訓練言語モデル(LM)は、テストインスタンスといくつかの注釈付き例を入力として取り、パラメータの更新なしに直接対話状態をデコードする。 これにより、LMは、新しいドメインやシナリオに適応する際の、以前の数ショットのDST作業と比べて、より柔軟でスケーラブルになります。
  論文  参考訳（メタデータ） (2022-03-16T11:58:24Z)
• Few-Shot Bot: Prompt-Based Learning for Dialogue Systems [58.27337673451943]
  ごく少数の例を使って会話を学ぶことは、会話型AIにおける大きな課題である。 現在の最良の会話モデルは、良いチャットシャッター(例:BlenderBot)またはゴール指向システム(例:MinTL)である。 グラデーションベースの微調整を必要とせず、学習の唯一の源としていくつかの例を用いるプロンプトベースの数ショット学習を提案する。
  論文  参考訳（メタデータ） (2021-10-15T14:36:45Z)
• RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems [75.87418236410296]
  我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。 RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。 先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-29T08:58:49Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Language Models as Few-Shot Learner for Task-Oriented Dialogue Systems [74.8759568242933]
  タスク指向対話システムは、自然言語理解(NLU)、対話状態追跡(DST)、対話ポリシー(DP)、自然言語生成(NLG)の4つの連結モジュールを使用する。 研究課題は、データ収集に関連する高コストから最小限のサンプルで各モジュールを学習することである。 我々は,NLU,DP,NLGタスクにおいて,言語モデルの素小ショット能力を評価する。
  論文  参考訳（メタデータ） (2020-08-14T08:23:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。