論文の概要: Hierarchical Inductive Transfer for Continual Dialogue Learning

• arxiv url: http://arxiv.org/abs/2203.10484v1
• Date: Sun, 20 Mar 2022 08:06:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 14:09:39.419930
• Title: Hierarchical Inductive Transfer for Continual Dialogue Learning
• Title（参考訳）: 対話学習のための階層的帰納的伝達
• Authors: Shaoxiong Feng, Xuancheng Ren, Kan Li, Xu Sun
• Abstract要約: 本稿では,対話スキルを継続的に,かつ効率的に学習し,展開するための階層的帰納的伝達フレームワークを提案する。 唯一のトレーニング可能なモジュールとして、組み込みデバイス上の対話システムが、無視可能な追加パラメータを持つ新しい対話スキルを取得することは有益である。
• 参考スコア（独自算出の注目度）: 32.35720663518357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained models have achieved excellent performance on the dialogue task. However, for the continual increase of online chit-chat scenarios, directly fine-tuning these models for each of the new tasks not only explodes the capacity of the dialogue system on the embedded devices but also causes knowledge forgetting on pre-trained models and knowledge interference among diverse dialogue tasks. In this work, we propose a hierarchical inductive transfer framework to learn and deploy the dialogue skills continually and efficiently. First, we introduce the adapter module into pre-trained models for learning new dialogue tasks. As the only trainable module, it is beneficial for the dialogue system on the embedded devices to acquire new dialogue skills with negligible additional parameters. Then, for alleviating knowledge interference between tasks yet benefiting the regularization between them, we further design hierarchical inductive transfer that enables new tasks to use general knowledge in the base adapter without being misled by diverse knowledge in task-specific adapters. Empirical evaluation and analysis indicate that our framework obtains comparable performance under deployment-friendly model capacity.
• Abstract（参考訳）: 事前訓練されたモデルは対話作業において優れた性能を達成している。 しかし、オンラインのチャットシナリオの継続的な増加に対して、これらのモデルを新しいタスクごとに直接微調整することは、組み込みデバイス上での対話システムの能力を爆発させるだけでなく、事前訓練されたモデルを忘れることや、多様な対話タスク間の知識干渉を引き起こす。 本研究では,対話スキルを継続的にかつ効率的に習得・展開するための階層的インダクティブ・トランスファー・フレームワークを提案する。 まず,新しい対話タスクを学習するための事前学習モデルにアダプタモジュールを導入する。 学習可能な唯一のモジュールとして,組込みデバイス上での対話システムでは,追加パラメータの不要な新たな対話スキルを得ることが有用である。 そして,タスク間の知識干渉を軽減するために,タスク固有のアダプタの多様な知識に誤解されることなく,新しいタスクがベースアダプタの一般知識を利用できるようにする階層的帰納的トランスファーを設計する。 経験的評価と分析の結果から,このフレームワークは,デプロイフレンドリなモデルキャパシティで同等のパフォーマンスが得られる。

関連論文リスト

• Position Matters! Empirical Study of Order Effect in Knowledge-grounded Dialogue [54.98184262897166]
  本稿では,知識集合の順序が自己回帰対話システムの応答にどのように影響するかを検討する。 本稿では,知識入力の位置埋め込みを変更することで,注文効果を緩和する,シンプルで斬新な手法を提案する。
  論文  参考訳（メタデータ） (2023-02-12T10:13:00Z)
• STRUDEL: Structured Dialogue Summarization for Dialogue Comprehension [42.57581945778631]
  抽象的な対話要約は、自然言語処理における重要なスタンドアロンタスクとみなされてきた。 本稿では,新たな対話要約タスクであるSTRUctured DiaLoguE Summarizationを提案する。 変換器エンコーダ言語モデルの対話理解性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-24T04:39:54Z)
• Towards Large-Scale Interpretable Knowledge Graph Reasoning for Dialogue Systems [109.16553492049441]
  よりスケーラブルで一般化可能な対話システムに知識推論機能を組み込む新しい手法を提案する。 我々の知識を最大限に活用するために、変圧器モデルが微分可能な知識グラフを解析して応答を生成するのは、これが初めてである。
  論文  参考訳（メタデータ） (2022-03-20T17:51:49Z)
• Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
  望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。 本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
  論文  参考訳（メタデータ） (2022-03-13T13:22:41Z)
• Advances in Multi-turn Dialogue Comprehension: A Survey [51.215629336320305]
  自然言語を理解し、人間と対話するための訓練機械は、人工知能の解明と本質的なタスクである。 本稿では,対話理解タスクにおける対話モデリングの技術的視点から,過去の手法を概観する。 さらに,対話シナリオにおけるPrLMの強化に使用される対話関連事前学習手法を分類する。
  論文  参考訳（メタデータ） (2021-10-11T03:52:37Z)
• Transferable Dialogue Systems and User Simulators [17.106518400787156]
  対話システムのトレーニングの難しさの1つは、トレーニングデータの欠如である。 本稿では,対話システムとユーザシミュレータ間の対話を通して対話データを作成する可能性について検討する。 我々は,2つのエージェント間のセルフプレイを通じて,新たな対話シナリオを組み込むことのできるモデリングフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-07-25T22:59:09Z)
• Alexa Conversations: An Extensible Data-driven Approach for Building Task-oriented Dialogue Systems [21.98135285833616]
  従来の目標指向対話システムは、自然言語理解、対話状態追跡、政策学習、応答生成など、さまざまなコンポーネントに依存している。 スケーラブルかつデータ効率の高い,目標指向の対話システム構築のための新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-04-19T07:09:27Z)
• Rethinking Supervised Learning and Reinforcement Learning in Task-Oriented Dialogue Systems [58.724629408229205]
  本稿では、従来の教師あり学習とシミュレータなしの逆学習法を用いて、最先端のRL法に匹敵する性能を実現する方法を示す。 我々の主な目的は、教師あり学習で強化学習に勝ることではなく、タスク指向対話システムの最適化における強化学習と教師あり学習の役割を再考する価値を示すことである。
  論文  参考訳（メタデータ） (2020-09-21T12:04:18Z)
• SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine Teaching [81.45928589522032]
  トランスフォーマーに基づく自動回帰言語モデルを用いて,モジュール型タスク指向対話システムをパラメータ化する。 タスクグラウンド応答生成モデルである異種ダイアログコーパスの事前学習を行う。 実験により、SOLOISTは、よく研究されたタスク指向のダイアログベンチマーク上で、新しい最先端のダイアログを生成する。
  論文  参考訳（メタデータ） (2020-05-11T17:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。