論文の概要: A Probabilistic End-To-End Task-Oriented Dialog Model with Latent Belief
States towards Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2009.08115v3
- Date: Tue, 13 Oct 2020 14:18:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 08:16:42.014384
- Title: A Probabilistic End-To-End Task-Oriented Dialog Model with Latent Belief
States towards Semi-Supervised Learning
- Title（参考訳）: 半教師付き学習に向けた潜在状態をもつ確率的エンドツーエンドタスク指向対話モデル
- Authors: Yichi Zhang, Zhijian Ou, Huixin Wang, Junlan Feng
- Abstract要約: 信念トラッカーのトレーニングには、ユーザーの発話ごとに高価なターンレベルのアノテーションが必要となることが多い。
本稿では,確率的対話モデルであるLAtent BElief State (LABES)モデルを提案する。
LABES-S2Sは、LABESのSeq2Seqモデルインスタンス化のコピーである。
- 参考スコア（独自算出の注目度）: 22.757971831442426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured belief states are crucial for user goal tracking and database
query in task-oriented dialog systems. However, training belief trackers often
requires expensive turn-level annotations of every user utterance. In this
paper we aim at alleviating the reliance on belief state labels in building
end-to-end dialog systems, by leveraging unlabeled dialog data towards
semi-supervised learning. We propose a probabilistic dialog model, called the
LAtent BElief State (LABES) model, where belief states are represented as
discrete latent variables and jointly modeled with system responses given user
inputs. Such latent variable modeling enables us to develop semi-supervised
learning under the principled variational learning framework. Furthermore, we
introduce LABES-S2S, which is a copy-augmented Seq2Seq model instantiation of
LABES. In supervised experiments, LABES-S2S obtains strong results on three
benchmark datasets of different scales. In utilizing unlabeled dialog data,
semi-supervised LABES-S2S significantly outperforms both supervised-only and
semi-supervised baselines. Remarkably, we can reduce the annotation demands to
50% without performance loss on MultiWOZ.
- Abstract（参考訳）: 構造化信念状態は,タスク指向対話システムにおけるユーザ目標追跡とデータベースクエリに不可欠である。
しかしながら、信念トラッカのトレーニングには、ユーザの発話毎に高価なターンレベルアノテーションが必要になることが多い。
本稿では,半教師付き学習に向けてラベルなしダイアログデータを活用することで,エンド・ツー・エンドの対話システム構築における信念状態ラベルの信頼度を緩和することを目的とする。
我々は,信頼状態が離散的潜在変数として表現され,ユーザの入力に応じてシステム応答と協調的にモデル化される,潜在信念状態(labes)モデルと呼ばれる確率的対話モデルを提案する。
このような潜在変数モデリングにより,原則付き変分学習フレームワークを用いて半教師付き学習を開発することができる。
さらに、LABESのSeq2Seqモデルインスタンス化をコピーしたLABES-S2Sを紹介する。
教師あり実験では、labes-s2sは3つの異なるスケールのベンチマークデータセットで強い結果を得る。
ラベルなしのダイアログデータを利用する場合、半教師付きLABS-S2Sは、教師のみのベースラインと半教師付きベースラインの両方で著しく優れる。
注目すべきは、MultiWOZのパフォーマンスを損なうことなく、アノテーション要求を50%に削減できることです。
関連論文リスト
- Evaluating and Enhancing Out-of-Domain Generalization of Task-Oriented Dialog Systems for Task Completion without Turn-level Dialog Annotations [2.453775887722866]
本研究は,大規模言語モデル(LLM)を自然言語ダイアログのみに微調整してToDタスクを実行できるかどうかを,このようなアノテーションを必要とせずに検討する。
ターンレベルのアノテーションを使わずに微調整されたモデルでは、一貫性のある適切な応答が生成される。
提案するZeroToDは,API呼び出し精度と全体的なタスク完了率を向上させるために,スキーマ拡張機構を組み込んだフレームワークである。
論文 参考訳（メタデータ） (2025-02-18T22:10:51Z) - Unsupervised End-to-End Task-Oriented Dialogue with LLMs: The Power of the Noisy Channel [9.082443585886127]
タスク指向の対話システムは一般的に、APIと対話するためにターンレベルのアノテーションを必要とする。
ラベルなしデータとスキーマ定義は、完全に教師なしの作業タスク指向対話システムを構築するのに十分である。
本稿では,ターンレベルのアノテーションを潜在変数として推論する予測最大化(EM)を用いた革新的なアプローチを提案する。
論文 参考訳（メタデータ） (2024-04-23T16:51:26Z) - Automated Evaluation of Classroom Instructional Support with LLMs and BoWs: Connecting Global Predictions to Specific Feedback [9.51494089949975]
大規模言語モデル(LLM)は、CLLASS(CLassroom Assessment Scoring System)のインストラクショナルサポートのドメインスコアを推定するために用いられる。
我々はメタピアソンのLlama2のゼロショットプロンプトと/または古典的なBag of Words(BoW)モデルを用いて、教師の発話の個々の発話を分類する機械学習アーキテクチャを設計する。
これらの発話レベルの判断は15分間の観察セッションに集約され、グローバルなCLASSスコアを推定する。
論文 参考訳（メタデータ） (2023-10-02T12:11:17Z) - CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog
Evaluation [75.60156479374416]
CGoDialは、Goal指向のダイアログ評価のための、新しい挑戦的で包括的な中国のベンチマークである。
96,763のダイアログセッションと574,949のダイアログがすべて含まれており、異なる知識ソースを持つ3つのデータセットをカバーする。
学術ベンチマークと音声対話のシナリオのギャップを埋めるために、実際の会話からデータを収集したり、クラウドソーシングを通じて既存のデータセットに音声機能を追加する。
論文 参考訳（メタデータ） (2022-11-21T16:21:41Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z) - SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for
Task-Oriented Dialog Understanding [68.94808536012371]
本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから対話表現を学習する,木構造付き事前学習会話モデルを提案する。
提案手法は,7つのデータセットと4つの一般的な対話理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られる。
論文 参考訳（メタデータ） (2022-09-14T13:42:50Z) - Variational Latent-State GPT for Semi-supervised Task-Oriented Dialog
Systems [24.667353107453824]
変分潜在状態GPTモデル(VLS-GPT)は2つのアプローチの強みを組み合わせた最初のモデルである。
我々は,GPTを変分学習に使用する際のメモリ爆発問題を克服する,サンプリング-then-forward-computationの戦略を開発した。
VLS-GPTは、教師のみのベースラインと半教師付きベースラインの両方で著しく優れていた。
論文 参考訳（メタデータ） (2021-09-09T14:42:29Z) - RADDLE: An Evaluation Benchmark and Analysis Platform for Robust
Task-oriented Dialog Systems [75.87418236410296]
我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。
RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。
先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-12-29T08:58:49Z) - MinTL: Minimalist Transfer Learning for Task-Oriented Dialogue Systems [75.43457658815943]
タスク指向対話システムのシステム設計プロセスを簡単にするミニマリスト変換学習(MinTL)を提案する。
MinTLはシンプルだが効果的な転送学習フレームワークであり、事前訓練されたSeq2seqモデルのプラグインと再生を可能にする。
トレーニング済みの2つのバックボーン(T5とBART)で学習フレームワークをインスタンス化し、MultiWOZで評価する。
論文 参考訳（メタデータ） (2020-09-25T02:19:13Z) - Modelling Hierarchical Structure between Dialogue Policy and Natural
Language Generator with Option Framework for Task-oriented Dialogue System [49.39150449455407]
HDNOは、特定の対話行為表現の設計を避けるために潜在対話行為を設計するためのオプションフレームワークである。
RL,LaRL,HDSAで学習した単語レベルE2Eモデルと比較して,マルチドメイン対話のデータセットであるMultiWoz 2.0とMultiWoz 2.1でHDNOをテストする。
論文 参考訳（メタデータ） (2020-06-11T20:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。