論文の概要: GODEL: Large-Scale Pre-Training for Goal-Directed Dialog

• arxiv url: http://arxiv.org/abs/2206.11309v1
• Date: Wed, 22 Jun 2022 18:19:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-25 03:35:22.141955
• Title: GODEL: Large-Scale Pre-Training for Goal-Directed Dialog
• Title（参考訳）: GODEL: ゴール指向ダイアログのための大規模事前トレーニング
• Authors: Baolin Peng, Michel Galley, Pengcheng He, Chris Brockett, Lars Liden, Elnaz Nouri, Zhou Yu, Bill Dolan, Jianfeng Gao
• Abstract要約: ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
• 参考スコア（独自算出の注目度）: 119.1397031992088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce GODEL (Grounded Open Dialogue Language Model), a large pre-trained language model for dialog. In contrast with earlier models such as DialoGPT, GODEL leverages a new phase of grounded pre-training designed to better support adapting GODEL to a wide range of downstream dialog tasks that require information external to the current conversation (e.g., a database or document) to produce good responses. Experiments against an array of benchmarks that encompass task-oriented dialog, conversational QA, and grounded open-domain dialog show that GODEL outperforms state-of-the-art pre-trained dialog models in few-shot fine-tuning setups, in terms of both human and automatic evaluation. A novel feature of our evaluation methodology is the introduction of a notion of utility that assesses the usefulness of responses (extrinsic evaluation) in addition to their communicative features (intrinsic evaluation). We show that extrinsic evaluation offers improved inter-annotator agreement and correlation with automated metrics. Code and data processing scripts are publicly available.
• Abstract（参考訳）: 対話のための大規模事前学習型言語モデルであるgodel (grounded open dialogue language model) を紹介する。 ダイアロGPTのような以前のモデルとは対照的に、GODELはGODELを現在の会話(例えばデータベースやドキュメント)以外の情報を必要とする幅広いダウンストリームダイアログタスクに適応して、優れた応答を生成するために、より優れた基礎的な事前訓練の新たなフェーズを利用する。 タスク指向ダイアログ、対話型QA、接地型オープンドメインダイアログを含む一連のベンチマークに対する実験により、GODELは人間と自動評価の両方の観点から、数ショットの微調整設定で最先端の訓練済みダイアログモデルより優れていることが示された。 評価手法の新たな特徴は,そのコミュニケーション的特徴(内在的評価)に加えて,応答の有用性(外在的評価)を評価するユーティリティの概念の導入である。 評価の結果,アノテーション間合意と自動メトリクスとの相関性が向上した。 コードとデータ処理スクリプトが公開されている。

関連論文リスト

• DIONYSUS: A Pre-trained Model for Low-Resource Dialogue Summarization [127.714919036388]
  DIONYSUSは、任意の新しいドメインでの対話を要約するための訓練済みエンコーダデコーダモデルである。 実験の結果,DIONYSUSは6つのデータセット上で既存の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-12-20T06:21:21Z)
• DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for Dialog Response Generation [80.45816053153722]
  DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。 我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
  論文  参考訳（メタデータ） (2022-04-27T16:18:15Z)
• What is wrong with you?: Leveraging User Sentiment for Automatic Dialog Evaluation [73.03318027164605]
  本稿では,次のユーザの発話から自動的に抽出できる情報をプロキシとして利用して,前のシステム応答の質を測定することを提案する。 本モデルは,実際のユーザおよび有償ユーザから収集した音声と書面の両方のオープンドメインダイアログコーパスを一般化する。
  論文  参考訳（メタデータ） (2022-03-25T22:09:52Z)
• GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection [36.77204909711832]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから,対話ポリシーを明示的に学習する,事前学習型ダイアログモデルを提案する。 具体的には、事前学習中にポリシー最適化のためのダイアログアクト予測タスクを導入し、一貫性の規則化項を用いて、学習した表現を洗練させる。 その結果,GALAXYはタスク指向対話システムの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2021-11-29T15:24:36Z)
• Response Generation with Context-Aware Prompt Learning [19.340498579331555]
  本稿では,対話生成問題を素早い学習課題とする,事前学習型対話モデリングのための新しい手法を提案する。 限られた対話データを微調整する代わりに、我々のアプローチであるDialogPromptは、対話コンテキストに最適化された連続的なプロンプト埋め込みを学習する。 提案手法は,微調整ベースラインと汎用的なプロンプト学習法を著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-04T05:40:13Z)
• RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems [75.87418236410296]
  我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。 RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。 先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-29T08:58:49Z)
• Contextual Dialogue Act Classification for Open-Domain Conversational Agents [10.576497782941697]
  会話におけるユーザ発話の一般的な意図を分類することは、会話エージェントのための自然言語理解(NLU)の重要なステップである。 本稿では,文脈対話行為分類のための簡易かつ効果的な深層学習手法であるCDAC(Contextual Dialogue Act)を提案する。 我々は、人-機械対話における対話行動を予測するために、トランスファーラーニングを用いて人間-機械対話で訓練されたモデルを適用する。
  論文  参考訳（メタデータ） (2020-05-28T06:48:10Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)
• An Empirical Investigation of Pre-Trained Transformer Language Models for Open-Domain Dialogue Generation [23.343006562849126]
  本稿では,オープンドメイン対話生成作業のための事前学習型トランスフォーマーに基づく自動回帰言語モデルについて実験的に検討する。 事前訓練と微調整の訓練パラダイムは、学習を行うために使用される。 実験は、Weibo、Douban、Reddit、DailyDialog、Persona-Chatといった典型的なシングルターンとマルチターンの対話コーパスで行われる。
  論文  参考訳（メタデータ） (2020-03-09T15:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。