論文の概要: Task-Optimized Adapters for an End-to-End Task-Oriented Dialogue System
- arxiv url: http://arxiv.org/abs/2305.02468v3
- Date: Wed, 31 May 2023 06:18:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 02:30:10.605604
- Title: Task-Optimized Adapters for an End-to-End Task-Oriented Dialogue System
- Title（参考訳）: タスク指向対話システムのためのタスク最適化アダプタ
- Authors: Namo Bang, Jeehyun Lee, Myoung-Wan Koo
- Abstract要約: 本稿では,タスク毎に個別に学習し,事前学習したネットワークの固定層に少数のパラメータを追加するタスク・ド・アダプタを用いたエンドツーエンドTODシステムを提案する。
提案手法はモデルに依存しない手法であり,プロンプトを使わずに入力データのみをプロンプトチューニングする必要がない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Task-Oriented Dialogue (TOD) systems are designed to carry out specific tasks
by tracking dialogue states and generating appropriate responses to help users
achieve defined goals. Recently, end-to-end dialogue models pre-trained based
on large datasets have shown promising performance in the conversational
system. However, they share the same parameters to train tasks of the dialogue
system (NLU, DST, NLG), so debugging each task is challenging. Also, they
require a lot of effort to fine-tune large parameters to create a task-oriented
chatbot, making it difficult for non-experts to handle. Therefore, we intend to
train relatively lightweight and fast models compared to PLM. In this paper, we
propose an End-to-end TOD system with Task-Optimized Adapters which learn
independently per task, adding only small number of parameters after fixed
layers of pre-trained network. We also enhance the performance of the DST and
NLG modules through reinforcement learning, overcoming the learning curve that
has lacked at the adapter learning and enabling the natural and consistent
response generation that is appropriate for the goal. Our method is a
model-agnostic approach and does not require prompt-tuning as only input data
without a prompt. As results of the experiment, our method shows competitive
performance on the MultiWOZ benchmark compared to the existing end-to-end
models. In particular, we attain state-of-the-art performance on the DST task
of 2.2 dataset.
- Abstract（参考訳）: タスク指向対話(tod)システムは、対話状態を追跡し、ユーザが定義された目標を達成するのに役立つ適切な応答を生成することによって、特定のタスクを実行するように設計されている。
近年,大規模データセットに基づいて事前学習したエンドツーエンド対話モデルは,対話システムにおいて有望な性能を示した。
しかし、対話システムのタスク(NLU、DST、NLG)をトレーニングするために同じパラメータを共有するため、各タスクのデバッグは困難である。
また、タスク指向のチャットボットを作成するために、大きなパラメータを微調整するのに多くの労力を必要とします。
したがって、PLMと比較して比較的軽量で高速なモデルを訓練する。
本稿では,タスクごとの学習を個別に行うタスク最適化アダプタを用いたエンドツーエンドTODシステムを提案する。
また,強化学習によるdstおよびnlgモジュールの性能向上,アダプタ学習の欠如した学習曲線の克服,目標に適した自然かつ一貫した応答生成を実現している。
提案手法はモデルに依存しない手法であり,プロンプトを使わずに入力データのみをプロンプトチューニングする必要がない。
実験の結果,既存のエンドツーエンドモデルと比較して,MultiWOZベンチマーク上での競合性能を示した。
特に、2.2データセットのDSTタスクで最先端のパフォーマンスを得る。
関連論文リスト
- Synergizing In-context Learning with Hints for End-to-end Task-oriented Dialog Systems [25.14460456391397]
LLM(Large Language Model)ベースのTODシステムは、コンテキスト内例を通してタスクを学習する能力のため、限られたデータでも優れている。
低データ設定におけるアライメントを改善するために,タスク固有のヒントでLLMを相乗化するSyncTODを提案する。
ChatGPTでは、SyncTODは低データ設定でLLMベースのベースラインやSoTAモデルよりも優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-05-24T14:13:54Z) - Many Hands Make Light Work: Task-Oriented Dialogue System with Module-Based Mixture-of-Experts [9.129081545049992]
タスク指向対話システムは事前学習言語モデル(PLM)の恩恵を受けている
ソフト混合型タスク指向対話システム(SMETOD)を提案する。
SMETODは、Mixture-of-Experts(MoEs)のアンサンブルを利用してサブプロブレムを最適化し、タスク指向対話のための特殊な出力を生成する。
我々は,意図予測,対話状態追跡,対話応答生成という3つのベンチマーク機能に対して,我々のモデルを広範囲に評価した。
論文 参考訳（メタデータ） (2024-05-16T01:02:09Z) - Enhancing Performance on Seen and Unseen Dialogue Scenarios using
Retrieval-Augmented End-to-End Task-Oriented System [89.40590076430297]
この作業により、単純なキャッシュを通じてより柔軟性のあるTODシステムが可能になる。
我々は,TOD生成中に対話履歴と検索情報の両方を参照・基盤にできるエンドツーエンドTODモデルを訓練する。
非空共同ゴール精度を6.7%向上させるなど,我々のフレームワークの優れた性能を示す実験を行った。
論文 参考訳（メタデータ） (2023-08-16T06:52:10Z) - Stabilized In-Context Learning with Pre-trained Language Models for Few
Shot Dialogue State Tracking [57.92608483099916]
大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。
対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。
対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
論文 参考訳（メタデータ） (2023-02-12T15:05:10Z) - OPAL: Ontology-Aware Pretrained Language Model for End-to-End
Task-Oriented Dialogue [40.62090743056549]
本稿では、エンドツーエンドタスク指向対話(TOD)のためのオントロジー対応事前学習言語モデル(OPAL)を提案する。
チャット型対話モデルとは異なり、タスク指向対話モデルは少なくとも2つのタスク固有モジュールを満たす:対話状態トラッカー(DST)と応答生成器(RG)。
論文 参考訳（メタデータ） (2022-09-10T04:38:27Z) - Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。
IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文 参考訳（メタデータ） (2022-06-04T10:08:50Z) - Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System [26.837972034630003]
PPTODはタスク指向対話のための統一的なプラグアンドプレイモデルである。
エンド・ツー・エンドの対話モデル、対話状態追跡、意図分類を含む3つのベンチマークTODタスクにおいて、我々のモデルを広範囲にテストする。
論文 参考訳（メタデータ） (2021-09-29T22:02:18Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳（メタデータ） (2021-09-10T03:23:06Z) - Language Models as Few-Shot Learner for Task-Oriented Dialogue Systems [74.8759568242933]
タスク指向対話システムは、自然言語理解(NLU)、対話状態追跡(DST)、対話ポリシー(DP)、自然言語生成(NLG)の4つの連結モジュールを使用する。
研究課題は、データ収集に関連する高コストから最小限のサンプルで各モジュールを学習することである。
我々は,NLU,DP,NLGタスクにおいて,言語モデルの素小ショット能力を評価する。
論文 参考訳（メタデータ） (2020-08-14T08:23:21Z) - SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine
Teaching [81.45928589522032]
トランスフォーマーに基づく自動回帰言語モデルを用いて,モジュール型タスク指向対話システムをパラメータ化する。
タスクグラウンド応答生成モデルである異種ダイアログコーパスの事前学習を行う。
実験により、SOLOISTは、よく研究されたタスク指向のダイアログベンチマーク上で、新しい最先端のダイアログを生成する。
論文 参考訳（メタデータ） (2020-05-11T17:58:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。