論文の概要: Task-Oriented Dialogue System as Natural Language Generation

• arxiv url: http://arxiv.org/abs/2108.13679v1
• Date: Tue, 31 Aug 2021 08:36:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-01 14:39:17.172846
• Title: Task-Oriented Dialogue System as Natural Language Generation
• Title（参考訳）: 自然言語生成のためのタスク指向対話システム
• Authors: Weizhi Wang, Zhirui Zhang, Junliang Guo, Boxing Chen and Weihua Luo
• Abstract要約: 本稿では,タスク指向対話システムを純粋に自然言語生成タスクとして定式化する。 この方法は、デレシカル化トークンの除去によって引き起こされる対話エンティティの不整合に悩まされる。 我々は,軽量アダプタとCopyNetモジュールをGPT-2に組み込んだ新しいGPT-Adapter-CopyNetネットワークを設計し,性能を向上する。
• 参考スコア（独自算出の注目度）: 29.80627121964601
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose to formulate the task-oriented dialogue system as the purely natural language generation task, so as to fully leverage the large-scale pre-trained models like GPT-2 and simplify complicated delexicalization prepossessing. However, directly applying this method heavily suffers from the dialogue entity inconsistency caused by the removal of delexicalized tokens, as well as the catastrophic forgetting problem of the pre-trained model during fine-tuning, leading to unsatisfactory performance. To alleviate these problems, we design a novel GPT-Adapter-CopyNet network, which incorporates the lightweight adapter and CopyNet modules into GPT-2 to achieve better performance on transfer learning and dialogue entity generation. Experimental results conducted on the DSTC8 Track 1 benchmark and MultiWOZ dataset demonstrate that our proposed approach significantly outperforms baseline models with a remarkable performance on automatic and human evaluations.
• Abstract（参考訳）: 本稿では,GPT-2のような大規模事前学習モデルを完全に活用するために,タスク指向対話システムを純粋に自然言語生成タスクとして定式化することを提案する。 しかし,本手法の直接適用は,デレクシカル化トークンの除去による対話エンティティの不整合や,微調整中の事前学習モデルの破滅的な忘れ問題に大きく悩まされ,不満足な性能をもたらす。 これらの問題を緩和するために,軽量アダプタとCopyNetモジュールをGPT-2に組み込んだ新しいGPT-Adapter-CopyNetネットワークを設計し,転送学習と対話エンティティ生成の性能向上を実現した。 DSTC8 Track 1ベンチマークとMultiWOZデータセットを用いて行った実験結果から,提案手法はベースラインモデルよりも優れた性能を示し,自動評価と人的評価に優れた性能を示した。

関連論文リスト

• Leveraging Fine-Tuned Retrieval-Augmented Generation with Long-Context Support: For 3GPP Standards [4.334100270812517]
  大型言語モデル(LLM)は電気通信の技術的標準と競合する。 Phi-2小言語モデル(SLM)に基づく細調整検索拡張生成(RAG)システムを提案する。 本実験は,通信分野における既存の質問応答手法よりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2024-08-21T17:00:05Z)
• LEEETs-Dial: Linguistic Entrainment in End-to-End Task-oriented Dialogue systems [0.0]
  GPT-2に基づくエンドツーエンドのタスク指向対話システムにおいて,対話学習を実現する手法を提案する。 我々は、トレーニングインスタンスの重み付け、トレーニング固有の損失、およびユーザーと一致した応答を生成するための追加条件付けを実験した。
  論文  参考訳（メタデータ） (2023-11-15T21:35:25Z)
• Enhancing Performance on Seen and Unseen Dialogue Scenarios using Retrieval-Augmented End-to-End Task-Oriented System [89.40590076430297]
  この作業により、単純なキャッシュを通じてより柔軟性のあるTODシステムが可能になる。 我々は,TOD生成中に対話履歴と検索情報の両方を参照・基盤にできるエンドツーエンドTODモデルを訓練する。 非空共同ゴール精度を6.7%向上させるなど,我々のフレームワークの優れた性能を示す実験を行った。
  論文  参考訳（メタデータ） (2023-08-16T06:52:10Z)
• BatGPT: A Bidirectional Autoregessive Talker from Generative Pre-trained Transformer [77.28871523946418]
  BatGPTは武漢大学と上海江東大学が共同で設計・訓練した大規模言語モデルである。 テキストプロンプト、画像、オーディオなど、さまざまなタイプの入力に応答して、非常に自然で、流動的なテキストを生成することができる。
  論文  参考訳（メタデータ） (2023-07-01T15:10:01Z)
• SimOAP: Improve Coherence and Consistency in Persona-based Dialogue Generation via Over-sampling and Post-evaluation [54.66399120084227]
  大規模コーパスで訓練された言語モデルは、オープンドメイン対話において驚くほど流動的な結果を生み出すことができる。 ペルソナに基づく対話生成タスクでは、一貫性と一貫性が言語モデルにとって大きな課題である。 オーバーサンプリングとポスト評価という2段階のSimOAP戦略が提案されている。
  論文  参考訳（メタデータ） (2023-05-18T17:23:00Z)
• Task-Optimized Adapters for an End-to-End Task-Oriented Dialogue System [0.0]
  本稿では,タスク毎に個別に学習し,事前学習したネットワークの固定層に少数のパラメータを追加するタスク・ド・アダプタを用いたエンドツーエンドTODシステムを提案する。 提案手法はモデルに依存しない手法であり,プロンプトを使わずに入力データのみをプロンプトチューニングする必要がない。
  論文  参考訳（メタデータ） (2023-05-04T00:17:49Z)
• Context Matters in Semantically Controlled Language Generation for Task-oriented Dialogue Systems [6.1478669848771546]
  本研究は,タスク指向対話における文脈言語生成を実現するために,事前学習モデルによって符号化された対話履歴情報と,現在のシステム発話の意味表現とを組み合わせる。 我々は、事前学習されたマルチコンテキスト・コンベRTモデルを、スクラッチから訓練されたモデルにおける文脈表現に利用し、事前学習されたGPT-2から適応したモデルにおいて、直前のユーザ発話を文脈生成に活用する。
  論文  参考訳（メタデータ） (2021-11-28T11:48:02Z)
• Robust Dialogue Utterance Rewriting as Sequence Tagging [62.12912805378693]
  対話書き換えの課題は,対話コンテキストから欠落した内容をコピーし,最新の対話発話を再構築することにある。 これまで、このタスクの既存のモデルは堅牢性の問題、すなわち、異なるドメインでテストする場合のパフォーマンスは劇的に低下します。 本研究では,探索空間を大幅に縮小する新しいシーケンスタグ型流束モデルを提案する。
  論文  参考訳（メタデータ） (2020-12-29T00:05:35Z)
• Hybrid Generative-Retrieval Transformers for Dialogue Domain Adaptation [77.62366712130196]
  マルチドメイン MetaLWOz データセットに微調整した GPT-2 に基づくハイブリッド生成・検索モデル DSTC8 の高速領域適応タスクにおける入賞条件について述べる。 提案モデルでは,MetaLWOz上の解析論理をフォールバックとして使用し,人間の評価におけるSoTA(第2位システムよりも4%向上)と,未知のMultiWOZデータセットに適応した競合一般化性能を実現する。
  論文  参考訳（メタデータ） (2020-03-03T18:07:42Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。