論文の概要: UniPCM: Universal Pre-trained Conversation Model with Task-aware Automatic Prompt

• arxiv url: http://arxiv.org/abs/2309.11065v1
• Date: Wed, 20 Sep 2023 05:05:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 17:13:22.994464
• Title: UniPCM: Universal Pre-trained Conversation Model with Task-aware Automatic Prompt
• Title（参考訳）: UniPCM:タスク対応自動プロンプト付きユニバーサル事前学習会話モデル
• Authors: Yucheng Cai, Wentao Ma, Yuchuan Wu, Shuzheng Si, Yuan Shao, Zhijian Ou, Yongbin Li
• Abstract要約: 本稿では,タスクベースの自動プロンプト生成(TAP)を用いて,高品質なプロンプトの自動生成を提案する。 事前学習した会話モデルのコーパスを15の対話関連タスクから122のデータセットに拡張する。 TAPがクラウドソーシングで集めたものと同等のプロンプトを生成できるのは驚きです。
• 参考スコア（独自算出の注目度）: 44.835294340615654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research has shown that multi-task pre-training greatly improves the model's robustness and transfer ability, which is crucial for building a high-quality dialog system. However, most previous works on multi-task pre-training rely heavily on human-defined input format or prompt, which is not optimal in quality and quantity. In this work, we propose to use Task-based Automatic Prompt generation (TAP) to automatically generate high-quality prompts. Using the high-quality prompts generated, we scale the corpus of the pre-trained conversation model to 122 datasets from 15 dialog-related tasks, resulting in Universal Pre-trained Conversation Model (UniPCM), a powerful foundation model for various conversational tasks and different dialog systems. Extensive experiments have shown that UniPCM is robust to input prompts and capable of various dialog-related tasks. Moreover, UniPCM has strong transfer ability and excels at low resource scenarios, achieving SOTA results on 9 different datasets ranging from task-oriented dialog to open-domain conversation. Furthermore, we are amazed to find that TAP can generate prompts on par with those collected with crowdsourcing. The code is released with the paper.
• Abstract（参考訳）: 近年の研究では、マルチタスク事前学習によりモデルの堅牢性と伝達能力が大きく向上し、高品質な対話システムの構築に不可欠であることが示されている。 しかしながら、従来のマルチタスク事前学習のほとんどは、人間の定義した入力形式やプロンプトに依存しており、品質や量では最適ではない。 本研究では,タスクベース自動プロンプト生成(TAP)を用いて高品質なプロンプトの自動生成を提案する。 学習済み会話モデルのコーパスを15の対話関連タスクから122のデータセットに拡張し,様々な対話タスクと異なる対話システムのための強力な基盤モデルであるUniPCM(Universal Pre-trained Conversation Model)を実現する。 広汎な実験により、UniPCMは入力プロンプトに対して堅牢であり、様々なダイアログ関連タスクが可能であることが示されている。 さらに、UniPCMは、タスク指向ダイアログからオープンドメイン会話まで、9つの異なるデータセット上でSOTA結果を達成することで、強力な転送能力を持ち、低リソースシナリオで優れている。 さらに,クラウドソーシングで収集した情報と同等のプロンプトをTAPが生成できることにも驚いた。 コードは紙でリリースされます。

関連論文リスト

• Multi-trait User Simulation with Adaptive Decoding for Conversational Task Assistants [11.092533523906834]
  本稿では,デコード時に多様なユーザプロファイルを生成する手法であるMulti-Trait Adaptive Decoding (mTAD)を提案する。 Conversational Task Assistantドメインから現実世界の対話を解析することにより、重要な対話特性を識別する。 我々は、会話の多様性を高めるプロファイル認識対話を生成するフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-16T09:40:34Z)
• DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
  マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。 提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。 様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
  論文  参考訳（メタデータ） (2024-01-02T07:40:12Z)
• ChatPLUG: Open-Domain Generative Dialogue System with Internet-Augmented Instruction Tuning for Digital Human [76.62897301298699]
  ChatPLUGは、デジタルヒューマンアプリケーションのための中国のオープンドメイン対話システムである。 モデルネームは, 自動評価と人的評価の両方において, 最先端の中国語対話システムより優れていることを示す。 高速な推論でスマートスピーカーやインスタントメッセージアプリケーションのような実世界のアプリケーションにモデルネームをデプロイします。
  論文  参考訳（メタデータ） (2023-04-16T18:16:35Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• Few-Shot Bot: Prompt-Based Learning for Dialogue Systems [58.27337673451943]
  ごく少数の例を使って会話を学ぶことは、会話型AIにおける大きな課題である。 現在の最良の会話モデルは、良いチャットシャッター(例:BlenderBot)またはゴール指向システム(例:MinTL)である。 グラデーションベースの微調整を必要とせず、学習の唯一の源としていくつかの例を用いるプロンプトベースの数ショット学習を提案する。
  論文  参考訳（メタデータ） (2021-10-15T14:36:45Z)
• On Task-Level Dialogue Composition of Generative Transformer Model [9.751234480029765]
  本研究では,トランスフォーマー生成モデルにおけるヒューマン・ヒューマン・タスク指向対話の学習効果について検討した。 そこで本研究では,(1)人間と人間による単一タスク対話から学習のための複合タスク対話データを作成すること,(2)補助的損失を用いてエンコーダ表現を単一タスク対話に不変にすること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-10-09T22:10:03Z)
• SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine Teaching [81.45928589522032]
  トランスフォーマーに基づく自動回帰言語モデルを用いて,モジュール型タスク指向対話システムをパラメータ化する。 タスクグラウンド応答生成モデルである異種ダイアログコーパスの事前学習を行う。 実験により、SOLOISTは、よく研究されたタスク指向のダイアログベンチマーク上で、新しい最先端のダイアログを生成する。
  論文  参考訳（メタデータ） (2020-05-11T17:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。