論文の概要: TaSL: Continual Dialog State Tracking via Task Skill Localization and Consolidation

• arxiv url: http://arxiv.org/abs/2408.09857v1
• Date: Mon, 19 Aug 2024 10:01:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 16:44:56.794115
• Title: TaSL: Continual Dialog State Tracking via Task Skill Localization and Consolidation
• Title（参考訳）: TaSL:タスクスキルのローカライゼーションと統合による連続的な対話状態追跡
• Authors: Yujie Feng, Xu Chu, Yongxin Xu, Guangyuan Shi, Bo Liu, Xiao-Ming Wu,
• Abstract要約: タスクスキルのローカライゼーションと統合のための新しいフレームワークであるTaSLを提案する。 TaSLは、タスク特化領域とタスク共有領域をピンポイントする、新しいグループワイド技術を使用している。 結果として、TaSLは以前の知識の保存と新しいタスクの達成のバランスをとることになる。
• 参考スコア（独自算出の注目度）: 14.533890076297393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A practical dialogue system requires the capacity for ongoing skill acquisition and adaptability to new tasks while preserving prior knowledge. However, current methods for Continual Dialogue State Tracking (DST), a crucial function of dialogue systems, struggle with the catastrophic forgetting issue and knowledge transfer between tasks. We present TaSL, a novel framework for task skill localization and consolidation that enables effective knowledge transfer without relying on memory replay. TaSL uses a novel group-wise technique to pinpoint task-specific and task-shared areas. Additionally, a fine-grained skill consolidation strategy protects task-specific knowledge from being forgotten while updating shared knowledge for bi-directional knowledge transfer. As a result, TaSL strikes a balance between preserving previous knowledge and excelling at new tasks. Comprehensive experiments on various backbones highlight the significant performance improvements of TaSL over existing state-of-the-art methods. The source code is provided for reproducibility.
• Abstract（参考訳）: 実践的な対話システムでは、事前の知識を維持しながら、継続的なスキル獲得と新しいタスクへの適応性を必要としている。 しかし、対話システムの重要な機能である継続対話状態追跡(DST)の現在の手法は、タスク間の知識伝達と破滅的な忘れの問題に悩まされている。 メモリ再生に頼ることなく効果的な知識伝達を可能にするタスクスキルのローカライゼーションと統合のための新しいフレームワークであるTaSLを提案する。 TaSLは、タスク特化領域とタスク共有領域をピンポイントする、新しいグループワイド技術を使用している。 さらに、細粒度のスキル統合戦略は、双方向の知識伝達のための共有知識を更新しながら、タスク固有の知識が忘れられないようにする。 結果として、TaSLは以前の知識の保存と新しいタスクの達成のバランスをとることになる。 様々なバックボーンに関する総合的な実験は、既存の最先端手法よりもTaSLの大幅な性能向上を強調している。 ソースコードは再現性のために提供される。

関連論文リスト

• TaSL: Task Skill Localization and Consolidation for Language Model Continual Learning [41.28933724210434]
  言語モデル継続学習(CL)は、大規模な言語モデル(LLM)を、リトレーニングなしで動的現実のシナリオに適応できる能力に対して、近年大きな関心を集めている。 既存のアプローチでは、複数のパラメータ効率の細かい調整(PEFT)ブロックを使用してタスク固有の知識を取得するが、これらの手法は非効率であり、タスク間の潜在的な知識伝達を利用できない。 本稿では,タスクスキルのローカライゼーションと統合(TaSL)という,言語モデルのための新しいCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-09T17:44:45Z)
• Rethinking and Improving Multi-task Learning for End-to-end Speech Translation [51.713683037303035]
  異なる時間とモジュールを考慮したタスク間の整合性について検討する。 テキストエンコーダは、主にクロスモーダル変換を容易にするが、音声におけるノイズの存在は、テキストと音声表現の一貫性を妨げる。 長さと表現の差を軽減し,モーダルギャップを橋渡しする,STタスクのための改良型マルチタスク学習(IMTL)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T08:48:46Z)
• Subspace Chronicles: How Linguistic Information Emerges, Shifts and Interacts during Language Model Training [56.74440457571821]
  我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。 タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。 この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
  論文  参考訳（メタデータ） (2023-10-25T09:09:55Z)
• Continual Dialogue State Tracking via Example-Guided Question Answering [48.31523413835549]
  そこで本研究では,対話状態の追跡を具体化した質問応答タスクのバンドルとして提案する。 我々のアプローチは、サービス固有の記憶を緩和し、与えられた質問や例を文脈化するためのモデルを教える。 類似の対話状態変化のあるターンを識別するために訓練された検索者によって検索されたコンテキスト内例から学習することで,600万のパラメータしか持たないモデルが大きな向上を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-05-23T06:15:43Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Beyond Not-Forgetting: Continual Learning with Backward Knowledge Transfer [39.99577526417276]
  継続学習(CL)では、エージェントは、新しいタスクと古いタスクの両方の学習性能を向上させることができる。 既存のCL手法の多くは、古いタスクに対する学習モデルの修正を最小化することによって、ニューラルネットワークの破滅的な忘れに対処することに焦点を当てている。 データ再生のない固定容量ニューラルネットワークに対して,バックワードノウルEdge tRansfer (CUBER) を用いた新しいCL法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T23:55:51Z)
• Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
  望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。 本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
  論文  参考訳（メタデータ） (2022-03-13T13:22:41Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [64.22926988297685]
  下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。 本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
  論文  参考訳（メタデータ） (2019-10-23T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。