論文の概要: MinTL: Minimalist Transfer Learning for Task-Oriented Dialogue Systems

• arxiv url: http://arxiv.org/abs/2009.12005v2
• Date: Mon, 28 Sep 2020 06:43:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 22:13:02.136118
• Title: MinTL: Minimalist Transfer Learning for Task-Oriented Dialogue Systems
• Title（参考訳）: MinTL:タスク指向対話システムのためのミニマリスト変換学習
• Authors: Zhaojiang Lin, Andrea Madotto, Genta Indra Winata, Pascale Fung
• Abstract要約: タスク指向対話システムのシステム設計プロセスを簡単にするミニマリスト変換学習(MinTL)を提案する。 MinTLはシンプルだが効果的な転送学習フレームワークであり、事前訓練されたSeq2seqモデルのプラグインと再生を可能にする。 トレーニング済みの2つのバックボーン(T5とBART)で学習フレームワークをインスタンス化し、MultiWOZで評価する。
• 参考スコア（独自算出の注目度）: 75.43457658815943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose Minimalist Transfer Learning (MinTL) to simplify the system design process of task-oriented dialogue systems and alleviate the over-dependency on annotated data. MinTL is a simple yet effective transfer learning framework, which allows us to plug-and-play pre-trained seq2seq models, and jointly learn dialogue state tracking and dialogue response generation. Unlike previous approaches, which use a copy mechanism to "carryover" the old dialogue states to the new one, we introduce Levenshtein belief spans (Lev), that allows efficient dialogue state tracking with a minimal generation length. We instantiate our learning framework with two pre-trained backbones: T5 and BART, and evaluate them on MultiWOZ. Extensive experiments demonstrate that: 1) our systems establish new state-of-the-art results on end-to-end response generation, 2) MinTL-based systems are more robust than baseline methods in the low resource setting, and they achieve competitive results with only 20\% training data, and 3) Lev greatly improves the inference efficiency.
• Abstract（参考訳）: 本稿では,タスク指向対話システムのシステム設計プロセスを簡素化し,注釈付きデータへの過度依存を緩和するために,mintlを提案する。 MinTLはシンプルだが効果的な転送学習フレームワークであり,事前学習したセq2seqモデルをプラグイン&プレイし,対話状態追跡と対話応答生成を共同で学習することができる。 古い対話状態を新しい対話に"キャリア"するためにコピー機構を用いた従来のアプローチとは異なり、最小生成長の効率的な対話状態追跡を可能にするLevenshtein belief spans (Lev)を導入している。 学習フレームワークをT5とBARTの2つのトレーニング済みバックボーンでインスタンス化し、MultiWOZで評価する。 広範な実験が示しています 1) エンド・ツー・エンドの応答生成において, 最新の結果が得られた。 2)MinTLベースのシステムは,低リソース環境での基準手法よりも堅牢であり,20倍のトレーニングデータで競争結果が得られる。 3)レブは推論効率を大幅に改善する。

関連論文リスト

• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• Quick Starting Dialog Systems with Paraphrase Generation [0.0]
  本稿では,既存の事例からより多くのデータを人工的に生成することで,対話エージェント作成のコストと労力を削減する手法を提案する。 提案手法は,人間の努力がほとんどないダイアログシステムを起動し,実際のエンドユーザーとの対話を可能にするのに十分なレベルの性能を実現する。
  論文  参考訳（メタデータ） (2022-04-06T02:35:59Z)
• In-Context Learning for Few-Shot Dialogue State Tracking [55.91832381893181]
  In-context (IC) Learning framework for few-shot dialogue state tracking (DST)を提案する。 大規模な事前訓練言語モデル(LM)は、テストインスタンスといくつかの注釈付き例を入力として取り、パラメータの更新なしに直接対話状態をデコードする。 これにより、LMは、新しいドメインやシナリオに適応する際の、以前の数ショットのDST作業と比べて、より柔軟でスケーラブルになります。
  論文  参考訳（メタデータ） (2022-03-16T11:58:24Z)
• Few-Shot Bot: Prompt-Based Learning for Dialogue Systems [58.27337673451943]
  ごく少数の例を使って会話を学ぶことは、会話型AIにおける大きな課題である。 現在の最良の会話モデルは、良いチャットシャッター(例:BlenderBot)またはゴール指向システム(例:MinTL)である。 グラデーションベースの微調整を必要とせず、学習の唯一の源としていくつかの例を用いるプロンプトベースの数ショット学習を提案する。
  論文  参考訳（メタデータ） (2021-10-15T14:36:45Z)
• Self-training Improves Pre-training for Few-shot Learning in Task-oriented Dialog Systems [47.937191088981436]
  大規模事前訓練型言語モデルでは、ToDで数発の学習を行う上で有望な結果が示されている。 本稿では,より強力な学生モデルを訓練するために,最も自信のないラベル付きデータを反復的にラベル付けする自己学習手法を提案する。 目的分類,ダイアログ状態追跡,ダイアログアクト予測,応答選択など,ToDの4つの下流タスクに関する実験と分析を行った。
  論文  参考訳（メタデータ） (2021-08-28T07:22:06Z)
• Transferable Dialogue Systems and User Simulators [17.106518400787156]
  対話システムのトレーニングの難しさの1つは、トレーニングデータの欠如である。 本稿では,対話システムとユーザシミュレータ間の対話を通して対話データを作成する可能性について検討する。 我々は,2つのエージェント間のセルフプレイを通じて,新たな対話シナリオを組み込むことのできるモデリングフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-07-25T22:59:09Z)
• An Empirical Study of Cross-Lingual Transferability in Generative Dialogue State Tracker [33.2309643963072]
  多言語事前学習セq2seqモデルを用いた言語間対話状態追跡システムの転送可能性について検討した。 また、我々のアプローチの低言語間移動可能性も調べ、調査と議論を行う。
  論文  参考訳（メタデータ） (2021-01-27T12:45:55Z)
• SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine Teaching [81.45928589522032]
  トランスフォーマーに基づく自動回帰言語モデルを用いて,モジュール型タスク指向対話システムをパラメータ化する。 タスクグラウンド応答生成モデルである異種ダイアログコーパスの事前学習を行う。 実験により、SOLOISTは、よく研究されたタスク指向のダイアログベンチマーク上で、新しい最先端のダイアログを生成する。
  論文  参考訳（メタデータ） (2020-05-11T17:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。