論文の概要: The Power of the Noisy Channel: Unsupervised End-to-End Task-Oriented Dialogue with LLMs
- arxiv url: http://arxiv.org/abs/2404.15219v1
- Date: Tue, 23 Apr 2024 16:51:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 13:12:44.807927
- Title: The Power of the Noisy Channel: Unsupervised End-to-End Task-Oriented Dialogue with LLMs
- Title(参考訳): 雑音チャネルのパワー:LLMを用いた教師なしエンドツーエンドタスク指向対話
- Authors: Brendan King, Jeffrey Flanigan,
- Abstract要約: タスク指向の対話システムは一般的に、APIと対話するためにターンレベルのアノテーションを必要とする。
ノイズチャネルモデルを用いて,ターンレベルのアノテーションを潜在変数として推定する手法を開発した。
本手法は,強力なGPT-3.5ベースラインの対話成功率を2倍以上に向上させる。
- 参考スコア(独自算出の注目度): 9.082443585886127
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training task-oriented dialogue systems typically requires turn-level annotations for interacting with their APIs: e.g. a dialogue state and the system actions taken at each step. These annotations can be costly to produce, error-prone, and require both domain and annotation expertise. With advances in LLMs, we hypothesize unlabelled data and a schema definition are sufficient for building a working task-oriented dialogue system, completely unsupervised. Using only (1) a well-defined API schema (2) a set of unlabelled dialogues between a user and agent, we develop a novel approach for inferring turn-level annotations as latent variables using a noisy channel model. We iteratively improve these pseudo-labels with expectation-maximization (EM), and use the inferred labels to train an end-to-end dialogue agent. Evaluating our approach on the MultiWOZ benchmark, our method more than doubles the dialogue success rate of a strong GPT-3.5 baseline.
- Abstract(参考訳): タスク指向の対話システムのトレーニングには、通常、各ステップで取られた対話状態やシステムアクションなど、APIと対話するためのターンレベルのアノテーションが必要です。
これらのアノテーションは、作成、エラーを起こし、ドメインとアノテーションの両方の専門知識を必要とする。
LLMの進歩に伴い、未学習データとスキーマ定義は、完全に教師なしの作業タスク指向対話システムを構築するのに十分である、という仮説を立てる。
1) 適切に定義されたAPIスキーマ (2) ユーザとエージェント間の非競合的な対話の集合を用いて,ノイズチャネルモデルを用いてターンレベルのアノテーションを潜在変数として推論する新しいアプローチを開発する。
予測最大化(EM)を用いてこれらの擬似ラベルを反復的に改善し、推定ラベルを用いてエンドツーエンドの対話エージェントを訓練する。
提案手法は,MultiWOZベンチマークに対するアプローチを評価することで,強力なGPT-3.5ベースラインの対話成功率を2倍以上に向上させる。
関連論文リスト
- Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue
Questions with LLMs [59.74002011562726]
我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。
中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。
実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-05-19T16:27:43Z) - SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for
Task-Oriented Dialog Understanding [68.94808536012371]
本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから対話表現を学習する,木構造付き事前学習会話モデルを提案する。
提案手法は,7つのデータセットと4つの一般的な対話理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られる。
論文 参考訳(メタデータ) (2022-09-14T13:42:50Z) - GRASP: Guiding model with RelAtional Semantics using Prompt [3.1275060062551208]
本稿では Prompt (GRASP) を用いたRelAtional Semantics を用いた誘導モデルを提案する。
我々は、プロンプトベースの微調整アプローチを採用し、引数を意識したプロンプトマーカー戦略を用いて、ある対話における関係意味的手がかりをキャプチャする。
実験では、DialogREデータセット上でのF1とF1cのスコアの観点から、GRASPの最先端のパフォーマンスが評価された。
論文 参考訳(メタデータ) (2022-08-26T08:19:28Z) - Manual-Guided Dialogue for Flexible Conversational Agents [84.46598430403886]
対話データを効率的に構築し、利用する方法や、さまざまなドメインにモデルを大規模にデプロイする方法は、タスク指向の対話システムを構築する上で重要な問題である。
エージェントは対話とマニュアルの両方からタスクを学習する。
提案手法は,詳細なドメインオントロジーに対する対話モデルの依存性を低減し,様々なドメインへの適応をより柔軟にする。
論文 参考訳(メタデータ) (2022-08-16T08:21:12Z) - Structure Extraction in Task-Oriented Dialogues with Slot Clustering [94.27806592467537]
タスク指向対話では、対話構造はしばしば対話状態間の遷移グラフと見なされている。
本稿では,タスク指向対話における構造抽出のための簡易かつ効果的な手法を提案する。
論文 参考訳(メタデータ) (2022-02-28T20:18:12Z) - FlowEval: A Consensus-Based Dialogue Evaluation Framework Using Segment
Act Flows [63.116280145770006]
本稿では,音声レベルからセグメントレベルへのダイアログ行為の拡張であるセグメントアクトを提案し,大規模データセットをクラウドソースする。
セグメントアクトフローを利用するために,セグメントアクションのシーケンスを評価のために,最初のコンセンサスに基づく対話評価フレームワークであるFlowEvalを開発した。
論文 参考訳(メタデータ) (2022-02-14T11:37:20Z) - Alexa Conversations: An Extensible Data-driven Approach for Building
Task-oriented Dialogue Systems [21.98135285833616]
従来の目標指向対話システムは、自然言語理解、対話状態追跡、政策学習、応答生成など、さまざまなコンポーネントに依存している。
スケーラブルかつデータ効率の高い,目標指向の対話システム構築のための新たなアプローチを提案する。
論文 参考訳(メタデータ) (2021-04-19T07:09:27Z) - Attention Guided Dialogue State Tracking with Sparse Supervision [5.758073912084366]
コールセンタでは、予約やサブスクリプションの管理といったタスクに対して、ユーザ目標をカスタマーサービスエージェントが発行するアクションに関連付けることができる。
これらのアクションログは大容量で利用可能であり、対話状態の学習に利用することができる。
本稿では,現在最先端のエンコーダデコーダモデルを拡張して,スパースラベルを用いた対話状態追跡(DST)を効率的に学習する。
論文 参考訳(メタデータ) (2021-01-28T12:18:39Z) - Hierarchical Pre-training for Sequence Labelling in Spoken Dialog [10.216901061363641]
音声対話に適応した汎用表現を学習するための新しい手法を提案する。
変換器アーキテクチャに基づく階層エンコーダを用いて表現を得る。
プレトレーニングはOpenSubtitles(英語版)で行われ、2.3億ドル以上のトークンを含む対話ダイアログの大規模なコーパスである。
論文 参考訳(メタデータ) (2020-09-23T13:54:57Z) - A Probabilistic End-To-End Task-Oriented Dialog Model with Latent Belief
States towards Semi-Supervised Learning [22.757971831442426]
信念トラッカーのトレーニングには、ユーザーの発話ごとに高価なターンレベルのアノテーションが必要となることが多い。
本稿では,確率的対話モデルであるLAtent BElief State (LABES)モデルを提案する。
LABES-S2Sは、LABESのSeq2Seqモデルインスタンス化のコピーである。
論文 参考訳(メタデータ) (2020-09-17T07:26:37Z) - Modelling Hierarchical Structure between Dialogue Policy and Natural
Language Generator with Option Framework for Task-oriented Dialogue System [49.39150449455407]
HDNOは、特定の対話行為表現の設計を避けるために潜在対話行為を設計するためのオプションフレームワークである。
RL,LaRL,HDSAで学習した単語レベルE2Eモデルと比較して,マルチドメイン対話のデータセットであるMultiWoz 2.0とMultiWoz 2.1でHDNOをテストする。
論文 参考訳(メタデータ) (2020-06-11T20:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。