論文の概要: Can Similarity-Based Domain-Ordering Reduce Catastrophic Forgetting for Intent Recognition?

• arxiv url: http://arxiv.org/abs/2402.14155v1
• Date: Wed, 21 Feb 2024 22:30:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 17:01:36.722487
• Title: Can Similarity-Based Domain-Ordering Reduce Catastrophic Forgetting for Intent Recognition?
• Title（参考訳）: 類似性に基づくドメイン順序付けは意図認識のための破滅的な忘れ方を減らすことができるか?
• Authors: Amogh Mannekote, Xiaoyi Tian, Kristy Elizabeth Boyer, Bonnie J. Dorr
• Abstract要約: 目的認識のようなタスクに対する連続的な学習設定において、破滅的な忘れ問題(CF)が発生する。 本研究は、生成意図認識モデルのCL性能に対する3つのドメイン順序付け戦略(最小経路、最大経路、ランダム)の影響を比較した。
• 参考スコア（独自算出の注目度）: 3.591224588041813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task-oriented dialogue systems are expected to handle a constantly expanding set of intents and domains even after they have been deployed to support more and more functionalities. To live up to this expectation, it becomes critical to mitigate the catastrophic forgetting problem (CF) that occurs in continual learning (CL) settings for a task such as intent recognition. While existing dialogue systems research has explored replay-based and regularization-based methods to this end, the effect of domain ordering on the CL performance of intent recognition models remains unexplored. If understood well, domain ordering has the potential to be an orthogonal technique that can be leveraged alongside existing techniques such as experience replay. Our work fills this gap by comparing the impact of three domain-ordering strategies (min-sum path, max-sum path, random) on the CL performance of a generative intent recognition model. Our findings reveal that the min-sum path strategy outperforms the others in reducing catastrophic forgetting when training on the 220M T5-Base model. However, this advantage diminishes with the larger 770M T5-Large model. These results underscores the potential of domain ordering as a complementary strategy for mitigating catastrophic forgetting in continually learning intent recognition models, particularly in resource-constrained scenarios.
• Abstract（参考訳）: タスク指向対話システムは、より多くの機能をサポートするためにデプロイされた後も、常に拡大するインテントやドメインを扱うことが期待されている。 この期待に応えるためには、意図認識などのタスクに対して連続学習(CL)設定で発生する破滅的な忘れ問題(CF)を軽減することが重要である。 既存の対話システムの研究はリプレイベースおよび正規化に基づく手法を研究しているが、ドメイン順序付けが意図認識モデルのCL性能に与える影響は未解明のままである。 ドメインの順序付けがうまく理解できれば、経験リプレイのような既存のテクニックと併用できる直交的なテクニックになる可能性がある。 本研究は,3つのドメイン順序付け戦略(最小経路,最大経路,ランダム)が生成意図認識モデルのCL性能に与える影響を比較することで,このギャップを埋める。 以上の結果より,220M T5-Baseモデルを用いたトレーニングでは,ミンサムパスが破滅的忘れを減少させる効果が認められた。 しかし、この利点は770mのt5大型モデルで減少する。 これらの結果は、特にリソース制約のあるシナリオにおいて、継続的に学習する意図認識モデルにおける破滅的な忘れを緩和するための補完的戦略としてのドメイン順序付けの可能性を強調している。

関連論文リスト

• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Understanding the Cross-Domain Capabilities of Video-Based Few-Shot Action Recognition Models [3.072340427031969]
  Few-shot Action Recognition (FSAR) は、ビデオ中の新しいアクションをわずかに例を使って識別できるモデルを学ぶことを目的としている。 メタトレーニング中に見られるベースデータセットと評価に使用される新しいデータセットは、異なるドメインから得ることができると仮定すると、クロスドメインの少数ショット学習によってデータ収集とアノテーションコストが軽減される。 我々は、新しいクロスドメインタスクに対して、既存の最先端の単一ドメイン、転送ベース、およびクロスドメインFSARメソッドを体系的に評価する。
  論文  参考訳（メタデータ） (2024-06-03T07:48:18Z)
• Cross-Domain Continual Learning via CLAMP [10.553456651003055]
  CLAMPは、すべての実験で確立されたベースラインアルゴリズムを少なくとも10%のマージンで大幅に上回っている。 ベースモデルの学習プロセスをナビゲートするために、評価者誘導学習プロセスがフォワードされる。
  論文  参考訳（メタデータ） (2024-05-12T02:41:31Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• Coarse to Fine: Domain Adaptive Crowd Counting via Adversarial Scoring Network [58.05473757538834]
  本稿では,ドメイン間のギャップを粗い粒度から細かな粒度に埋める新しい逆スコアリングネットワーク (ASNet) を提案する。 3組のマイグレーション実験により,提案手法が最先端のカウント性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-07-27T14:47:24Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• SpaceNet: Make Free Space For Continual Learning [15.914199054779438]
  本研究では,クラスインクリメンタル学習シナリオのための新しいアーキテクチャベースのSpaceNetを提案する。 SpaceNetは、複数のニューロンで各タスクのスパース接続を圧縮する適応的な方法で、スクラッチから深層ニューラルネットワークを訓練する。 実験により,従来のタスクを忘れることに対する提案手法のロバストさと,モデルが利用可能な容量を利用する場合のSpaceNetの効率性を示す。
  論文  参考訳（メタデータ） (2020-07-15T11:21:31Z)
• Latent Domain Learning with Dynamic Residual Adapters [26.018759356470767]
  ディープニューラルネットワークの現実的な欠点は、単一のタスクとドメインへの特殊化である。 ドメインアノテーションへのアクセスなしに、複数のドメインからデータから学ぶことです。 我々はこの制限を動的残留アダプタ(潜伏領域を考慮に入れた適応ゲーティング機構)を介して解決する。
  論文  参考訳（メタデータ） (2020-06-01T15:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。