論文の概要: Lifelong Intent Detection via Multi-Strategy Rebalancing

• arxiv url: http://arxiv.org/abs/2108.04445v1
• Date: Tue, 10 Aug 2021 04:35:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-11 14:26:52.223947
• Title: Lifelong Intent Detection via Multi-Strategy Rebalancing
• Title（参考訳）: マルチストラテジーリバランスによる生涯意図検出
• Authors: Qingbin Liu, Xiaoyan Yu, Shizhu He, Kang Liu, Jun Zhao
• Abstract要約: 本稿では,新しいデータに対するIDモデルを継続的に訓練し,新たな意図を学習するライフロングインテント検出(LID)を提案する。 既存の生涯学習手法は、通常、LIDタスクにおける古いデータと新しいデータの間の深刻な不均衡に悩まされる。 本稿では,コサイン正規化,階層的知識蒸留,クラス間マージン損失からなる,新しい生涯学習手法であるMulti-Strategy Rebalancing(MSR)を提案する。
• 参考スコア（独自算出の注目度）: 18.424132535727217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional Intent Detection (ID) models are usually trained offline, which relies on a fixed dataset and a predefined set of intent classes. However, in real-world applications, online systems usually involve continually emerging new user intents, which pose a great challenge to the offline training paradigm. Recently, lifelong learning has received increasing attention and is considered to be the most promising solution to this challenge. In this paper, we propose Lifelong Intent Detection (LID), which continually trains an ID model on new data to learn newly emerging intents while avoiding catastrophically forgetting old data. Nevertheless, we find that existing lifelong learning methods usually suffer from a serious imbalance between old and new data in the LID task. Therefore, we propose a novel lifelong learning method, Multi-Strategy Rebalancing (MSR), which consists of cosine normalization, hierarchical knowledge distillation, and inter-class margin loss to alleviate the multiple negative effects of the imbalance problem. Experimental results demonstrate the effectiveness of our method, which significantly outperforms previous state-of-the-art lifelong learning methods on the ATIS, SNIPS, HWU64, and CLINC150 benchmarks.
• Abstract（参考訳）: 従来のインテント検出(id)モデルは、通常はオフラインでトレーニングされるが、これは固定データセットと事前定義されたインテントクラスに依存している。 しかし、現実世界のアプリケーションでは、オンラインシステムは通常、継続的な新しいユーザー意図を巻き込み、オフライントレーニングパラダイムに大きな課題をもたらします。 近年,生涯学習が注目され,この課題に対する最も有望な解決策と考えられている。 本稿では,新たなデータに対するIDモデルを継続的に訓練して新たな意図を学習し,破滅的な古いデータを忘れないようにするライフロングインテント検出(LID)を提案する。 それにもかかわらず、既存の生涯学習手法は、通常、LIDタスクにおける古いデータと新しいデータの間の深刻な不均衡に悩まされる。 そこで本研究では,コサイン正規化,階層的知識蒸留,クラス間マージン損失からなり,不均衡問題の多重負の効果を緩和する,生涯学習法であるマルチストラテジーリバランス(msr)を提案する。 実験の結果,本手法はatis,snips,hwu64,clinc150ベンチマークにおいて,最先端の生涯学習法を著しく上回る効果を示した。

関連論文リスト

• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• VERSE: Virtual-Gradient Aware Streaming Lifelong Learning with Anytime Inference [36.61783715563126]
  生涯学習をストリーミングすることは、忘れずに継続的な学習を目標とすることで、生涯学習の挑戦的な設定である。 ストリーミング(学習例は1回に1回のみ)である生涯学習に新たなアプローチを導入する。 本稿では,各新しい例に適応し,過去のデータにも順応し,破滅的な忘れ込みを防止できる新しいエンフェクチュアル勾配に基づく連続表現学習手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T07:54:49Z)
• LifeLonger: A Benchmark for Continual Disease Classification [59.13735398630546]
  MedMNISTコレクションの連続的な疾患分類のためのベンチマークであるLifeLongerを紹介する。 タスクとクラスでの病気の漸進的な学習は、モデルをスクラッチから再トレーニングすることなく、新しいサンプルを分類する問題に対処する。 クロスドメインインクリメンタル学習は、これまで得られた知識を維持しながら、異なる機関から派生したデータセットを扱う問題に対処する。
  論文  参考訳（メタデータ） (2022-04-12T12:25:05Z)
• SID: Incremental Learning for Anchor-Free Object Detection via Selective and Inter-Related Distillation [16.281712605385316]
  増分学習は、ストリーミングデータから新しいタスクを継続的に学習するモデルを必要とする。 新しいタスクでよく訓練されたディープニューラルネットワークの従来の微調整は、古いタスクのパフォーマンスを劇的に低下させる。 SID(Selective and Inter-related Distillation)と呼ばれる新しい漸進的学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-12-31T04:12:06Z)
• Continual Learning for Natural Language Generation in Task-oriented Dialog Systems [72.92029584113676]
  自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。 我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。 この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
  論文  参考訳（メタデータ） (2020-10-02T10:32:29Z)
• Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
  クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。 クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。 本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2020-06-10T15:15:27Z)
• Generative Feature Replay with Orthogonal Weight Modification for Continual Learning [20.8966035274874]
  生成的再生は、破滅的な忘れを和らげるために、以前のタスクの擬似データを生成し再生する有望な戦略である。 生成モデルを用いて垂直層の特徴を再現することを提案する; 2) 自己監督型補助タスクを活用して特徴の安定性をさらに向上する。 いくつかのデータセットにおける実験結果から,我々の手法は常に強力なOWMよりも大幅に改善されていることが分かる。
  論文  参考訳（メタデータ） (2020-05-07T13:56:22Z)
• Incremental Learning In Online Scenario [8.885829189810197]
  現在の最先端の漸進的な学習手法では、新しいクラスが追加されるたびにモデルをトレーニングするのに長い時間がかかる。 本稿では,挑戦的なオンライン学習シナリオで機能するインクリメンタルラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-30T02:24:26Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。