論文の概要: Lifelong Event Detection with Embedding Space Separation and Compaction
- arxiv url: http://arxiv.org/abs/2404.02507v1
- Date: Wed, 3 Apr 2024 06:51:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 18:19:59.142573
- Title: Lifelong Event Detection with Embedding Space Separation and Compaction
- Title（参考訳）: 空間分離と圧縮を組み込んだ寿命イベント検出
- Authors: Chengwei Qin, Ruirui Chen, Ruochen Zhao, Wenhan Xia, Shafiq Joty,
- Abstract要約: 既存のイベント検出方法は、通常、メモリモジュールを保持し、新しいタスクの学習中に記憶されたメモリデータを再生する。
メモリデータと新しいタスクサンプルの単純な組み合わせは、以前取得した知識をかなり忘れてしまう可能性がある。
本稿では,空間分離とコンパクト化に基づく新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 30.05158209938146
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To mitigate forgetting, existing lifelong event detection methods typically maintain a memory module and replay the stored memory data during the learning of a new task. However, the simple combination of memory data and new-task samples can still result in substantial forgetting of previously acquired knowledge, which may occur due to the potential overlap between the feature distribution of new data and the previously learned embedding space. Moreover, the model suffers from overfitting on the few memory samples rather than effectively remembering learned patterns. To address the challenges of forgetting and overfitting, we propose a novel method based on embedding space separation and compaction. Our method alleviates forgetting of previously learned tasks by forcing the feature distribution of new data away from the previous embedding space. It also mitigates overfitting by a memory calibration mechanism that encourages memory data to be close to its prototype to enhance intra-class compactness. In addition, the learnable parameters of the new task are initialized by drawing upon acquired knowledge from the previously learned task to facilitate forward knowledge transfer. With extensive experiments, we demonstrate that our method can significantly outperform previous state-of-the-art approaches.
- Abstract（参考訳）: 忘れを緩和するために、既存の寿命イベント検出方法は、通常、メモリモジュールを保持し、新しいタスクの学習中に記憶されたメモリデータを再生する。
しかし、メモリデータと新しいタスクサンプルの単純な組み合わせは、新しいデータの特徴分布と以前に学習した埋め込み空間とが重複している可能性があるため、以前取得した知識をかなり忘れてしまう可能性がある。
さらに、モデルは学習パターンを効果的に記憶するのではなく、少数のメモリサンプルに過度に適合する。
本稿では,空間分離とコンパクト化に基づく新しい手法を提案する。
本手法は,従来の埋め込み空間から新たなデータの特徴分布を強制することで,以前学習したタスクの忘れを緩和する。
また、メモリキャリブレーション機構によるオーバーフィッティングを軽減し、メモリデータをプロトタイプに近いものにし、クラス内のコンパクト性を高める。
さらに、学習済みのタスクから取得した知識を描画することで、新しいタスクの学習可能なパラメータを初期化し、フォワード・ナレッジ・トランスファーを容易にする。
大規模な実験により,本手法は従来の最先端手法よりも大幅に優れることを示した。
関連論文リスト
- Reducing catastrophic forgetting of incremental learning in the absence of rehearsal memory with task-specific token [0.6144680854063939]
ディープラーニングモデルは、新しいデータを継続的に学習する際に破滅的な忘れを見せる。
本稿では,従来のデータを保存することなく,過去の知識を保存できる新しい手法を提案する。
この方法は視覚変換器のアーキテクチャにインスパイアされ、各タスクの圧縮された知識をカプセル化できるユニークなトークンを使用する。
論文 参考訳（メタデータ） (2024-11-06T16:13:50Z) - Reducing Catastrophic Forgetting in Online Class Incremental Learning Using Self-Distillation [3.8506666685467343]
連続学習では、モデルが新しいタスクを学ぶと、以前の知識は忘れられる。
本稿では, 自己蒸留による伝達可能な知識の獲得により, この問題の解決を試みた。
提案手法は,CIFAR10,CIFAR100,MinimageNetデータセットを用いた実験により従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-09-17T16:26:33Z) - Low-Rank Mixture-of-Experts for Continual Medical Image Segmentation [18.984447545932706]
破滅的な忘れ」問題は、モデルが新しいカテゴリやタスクに拡張された際に、以前に学習した特徴を忘れたときに発生する。
本稿では,データ固有のMixture of Experts構造を導入して,新しいタスクやカテゴリを扱うネットワークを提案する。
クラスレベルおよびタスクレベルの連続学習課題に対して,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2024-06-19T14:19:50Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
メトリクス学習はコンピュータビジョンの基本的な問題である。
蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。
特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
論文 参考訳（メタデータ） (2023-03-30T03:22:52Z) - Prototype-Sample Relation Distillation: Towards Replay-Free Continual
Learning [14.462797749666992]
本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。
本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。
この手法はタスクインクリメンタル設定における最先端性能を得る。
論文 参考訳（メタデータ） (2023-03-26T16:35:45Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳（メタデータ） (2022-10-10T08:27:28Z) - Memory Replay with Data Compression for Continual Learning [80.95444077825852]
古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。
我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
論文 参考訳（メタデータ） (2022-02-14T10:26:23Z) - Learning to Learn Variational Semantic Memory [132.39737669936125]
我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。
セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。
アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
論文 参考訳（メタデータ） (2020-10-20T15:05:26Z) - Incremental Object Detection via Meta-Learning [77.55310507917012]
本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。
既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
論文 参考訳（メタデータ） (2020-03-17T13:40:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。