論文の概要: Continual Learning for Task-oriented Dialogue System with Iterative Network Pruning, Expanding and Masking

• arxiv url: http://arxiv.org/abs/2107.08173v1
• Date: Sat, 17 Jul 2021 03:20:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-20 15:04:28.013314
• Title: Continual Learning for Task-oriented Dialogue System with Iterative Network Pruning, Expanding and Masking
• Title（参考訳）: 反復的ネットワーク・プルーニング・拡張・マスキングによるタスク指向対話システムの連続学習
• Authors: Binzong Geng, Fajie Yuan, Qiancheng Xu, Ying Shen, Ruifeng Xu, Min Yang
• Abstract要約: 本稿では、反復的ネットワークプルーニング、拡張、マスキング(TPEM)を用いたタスク指向対話システムのための効果的な連続学習を提案する。 TPEMは、それまで遭遇したタスクのパフォーマンスを保ちながら、その後のタスクにおける学習の進捗を加速する。 3つのベンチマークデータセットから7つのタスクについて広範な実験を行い、TPEMが強力な競合相手よりも大幅に改善された結果をもたらすことを実証的に示す。
• 参考スコア（独自算出の注目度）: 40.49848493951217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This ability to learn consecutive tasks without forgetting how to perform previously trained problems is essential for developing an online dialogue system. This paper proposes an effective continual learning for the task-oriented dialogue system with iterative network pruning, expanding and masking (TPEM), which preserves performance on previously encountered tasks while accelerating learning progress on subsequent tasks. Specifically, TPEM (i) leverages network pruning to keep the knowledge for old tasks, (ii) adopts network expanding to create free weights for new tasks, and (iii) introduces task-specific network masking to alleviate the negative impact of fixed weights of old tasks on new tasks. We conduct extensive experiments on seven different tasks from three benchmark datasets and show empirically that TPEM leads to significantly improved results over the strong competitors. For reproducibility, we submit the code and data at: https://github.com/siat-nlp/TPEM
• Abstract（参考訳）: オンライン対話システムの開発には,従来トレーニングされていた課題を忘れずに連続的なタスクを学習する能力が不可欠である。 本稿では,タスク指向対話システムにおいて,反復的ネットワークプルーニング,拡張,マスキング(TPEM)による効果的な連続学習を提案する。 特に, TPEM (i) は, 従来のタスクに対する知識を維持するためにネットワークプルーニングを活用し, (ii) 新たなタスクに対する自由ウェイトを作成するためにネットワーク拡張を採用し, (iii) タスク固有のネットワークマスキングを導入して, 古いタスクの固定重みの負の影響を軽減する。 3つのベンチマークデータセットから7つのタスクについて広範な実験を行い、TPEMが強力な競合相手よりも大幅に改善された結果をもたらすことを実証的に示す。 再現性のために、コードとデータを https://github.com/siat-nlp/TPEM

関連論文リスト

• Efficient Multi-task Prompt Tuning for Recommendation [44.494367787067006]
  本稿では,タスク非依存とトレーニング効率の問題に対処するため,新しい2段階のプロンプトチューニングMTLフレームワーク(MPT-Rec)を提案する。 MPT-Rec は SOTA マルチタスク学習法と比較して最高の性能を達成している。
  論文  参考訳（メタデータ） (2024-08-30T11:38:51Z)
• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• Task-Attentive Transformer Architecture for Continual Learning of Vision-and-Language Tasks Using Knowledge Distillation [18.345183818638475]
  連続学習(CL)は、逐次到着するタスク間で知識伝達を可能にすることで、治療の役割を果たす。 バイモーダル・ビジョン・アンド・ランゲージ・タスクを学習するためのトランスフォーマーベースのCLアーキテクチャを開発した。 私たちのアプローチは、メモリと時間のオーバーヘッドが少ないため、多数のタスクにスケーラブルに学習するものです。
  論文  参考訳（メタデータ） (2023-03-25T10:16:53Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• E2-AEN: End-to-End Incremental Learning with Adaptively Expandable Network [57.87240860624937]
  本稿では,E2-AENという,エンドツーエンドのトレーニング可能な適応拡張可能なネットワークを提案する。 以前のタスクの精度を落とさずに、新しいタスクのための軽量な構造を動的に生成する。 E2-AENはコストを削減し、あらゆるフィードフォワードアーキテクチャをエンドツーエンドで構築できる。
  論文  参考訳（メタデータ） (2022-07-14T09:04:51Z)
• FETA: A Benchmark for Few-Sample Task Transfer in Open-Domain Dialogue [70.65782786401257]
  本研究は、オープンドメイン対話における少数サンプルタスク転送のベンチマークであるFETAを導入することにより、対話型タスク転送について検討する。 FETAには10タスクと7タスクがアノテートされた2つの基礎的な会話が含まれており、データセット内タスク転送の研究を可能にする。 3つの人気のある言語モデルと3つの学習アルゴリズムを用いて、132のソースターゲットタスクペア間の転送可能性を分析する。
  論文  参考訳（メタデータ） (2022-05-12T17:59:00Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• Learning Context-aware Task Reasoning for Efficient Meta-reinforcement Learning [29.125234093368732]
  本稿では,新しいタスクの学習において,人間レベルの効率を実現するためのメタRL戦略を提案する。 本稿では,メタRL問題をタスク探索,タスク推論,タスク充足という3つのサブタスクに分解する。 提案アルゴリズムは,タスク推論の探索を効果的に行い,トレーニングとテストの双方においてサンプル効率を向上し,メタオーバーフィッティング問題を緩和する。
  論文  参考訳（メタデータ） (2020-03-03T07:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。