論文の概要: An Empirical Study of Multitask Learning to Improve Open Domain Dialogue
Systems
- arxiv url: http://arxiv.org/abs/2304.08115v1
- Date: Mon, 17 Apr 2023 09:44:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 15:45:06.989451
- Title: An Empirical Study of Multitask Learning to Improve Open Domain Dialogue
Systems
- Title（参考訳）: オープンドメイン対話システム改善のためのマルチタスク学習に関する実証的研究
- Authors: Mehrdad Farahani, Richard Johansson
- Abstract要約: 本稿では,中小GPT-2モデルに4種類の補助タスクを追加する方法について述べる。
その結果、新しい補助タスクの導入は、調査されたモデルの評価において、小さなが一貫した改善をもたらすことが示された。
- 参考スコア（独自算出の注目度）: 0.13706331473063876
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autoregressive models used to generate responses in open-domain dialogue
systems often struggle to take long-term context into account and to maintain
consistency over a dialogue. Previous research in open-domain dialogue
generation has shown that the use of \emph{auxiliary tasks} can introduce
inductive biases that encourage the model to improve these qualities. However,
most previous research has focused on encoder-only or encoder/decoder models,
while the use of auxiliary tasks in \emph{decoder-only} autoregressive models
is under-explored. This paper describes an investigation where four different
auxiliary tasks are added to small and medium-sized GPT-2 models fine-tuned on
the PersonaChat and DailyDialog datasets. The results show that the
introduction of the new auxiliary tasks leads to small but consistent
improvement in evaluations of the investigated models.
- Abstract（参考訳）: オープンドメインの対話システムで応答を生成するために使われる自己回帰モデルは、長期的なコンテキストを考慮して対話の一貫性を維持するのに苦労することが多い。
オープンドメインダイアログ生成における従来の研究は、'emph{auxiliary tasks'の使用は、モデルがこれらの品質を改善することを奨励する帰納的バイアスをもたらすことを示した。
しかし、これまでのほとんどの研究はエンコーダのみまたはエンコーダ/デコーダモデルに焦点が当てられてきたが、emph{decoder-only} 自己回帰モデルでの補助タスクの使用は未検討である。
本稿では,PersonaChatとDailyDialogのデータセットを微調整した中小GPT-2モデルに4種類の補助タスクを付加する方法について述べる。
その結果,新しい補助タスクの導入により,実験モデルの評価は小さく,かつ一貫した改善が得られた。
関連論文リスト
- Promoting Open-domain Dialogue Generation through Learning Pattern
Information between Contexts and Responses [5.936682548344234]
本稿では,学習サンプルの文脈と応答の間の暗黙的なパターン情報を学ぶことにより,生成した応答の品質を向上させる。
また、文脈と応答間の暗黙的パターン情報をマイニングする応答認識機構を設計し、生成した応答をより多様でヒトの応答に近似するようにした。
論文 参考訳（メタデータ） (2023-09-06T08:11:39Z) - Manual-Guided Dialogue for Flexible Conversational Agents [84.46598430403886]
対話データを効率的に構築し、利用する方法や、さまざまなドメインにモデルを大規模にデプロイする方法は、タスク指向の対話システムを構築する上で重要な問題である。
エージェントは対話とマニュアルの両方からタスクを学習する。
提案手法は,詳細なドメインオントロジーに対する対話モデルの依存性を低減し,様々なドメインへの適応をより柔軟にする。
論文 参考訳（メタデータ） (2022-08-16T08:21:12Z) - GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。
GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。
評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
論文 参考訳（メタデータ） (2022-06-22T18:19:32Z) - DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for
Dialog Response Generation [80.45816053153722]
DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。
我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
論文 参考訳（メタデータ） (2022-04-27T16:18:15Z) - Dialogue Summarization with Supporting Utterance Flow Modeling and Fact
Regularization [58.965859508695225]
本稿では、2つの新しいモジュールを用いた対話要約のためのエンドツーエンドニューラルネットワークを提案する。
サポートされた発話フローモデリングは、前者の発話から後者へのフォーカスを円滑にシフトさせることで、コヒーレントな要約を生成するのに役立つ。
事実の正則化は、モデルトレーニング中に生成された要約は、基礎と真実の要約と実際に一致するように促します。
論文 参考訳（メタデータ） (2021-08-03T03:09:25Z) - RADDLE: An Evaluation Benchmark and Analysis Platform for Robust
Task-oriented Dialog Systems [75.87418236410296]
我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。
RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。
先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-12-29T08:58:49Z) - Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。
提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
論文 参考訳（メタデータ） (2020-05-01T20:01:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。