論文の概要: Consistent Representation Learning for Continual Relation Extraction

• arxiv url: http://arxiv.org/abs/2203.02721v1
• Date: Sat, 5 Mar 2022 12:16:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 15:51:58.815640
• Title: Consistent Representation Learning for Continual Relation Extraction
• Title（参考訳）: 連続関係抽出のための一貫性表現学習
• Authors: Kang Zhao and Hua Xu and Jiangong Yang and Kai Gao
• Abstract要約: 関係埋め込みの安定性を維持する一貫した表現学習法を提案する。 我々の手法は最先端のベースラインを著しく上回り、不均衡なデータセットに強い堅牢性をもたらす。
• 参考スコア（独自算出の注目度）: 18.694012937149495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual relation extraction (CRE) aims to continuously train a model on data with new relations while avoiding forgetting old ones. Some previous work has proved that storing a few typical samples of old relations and replaying them when learning new relations can effectively avoid forgetting. However, these memory-based methods tend to overfit the memory samples and perform poorly on imbalanced datasets. To solve these challenges, a consistent representation learning method is proposed, which maintains the stability of the relation embedding by adopting contrastive learning and knowledge distillation when replaying memory. Specifically, supervised contrastive learning based on a memory bank is first used to train each new task so that the model can effectively learn the relation representation. Then, contrastive replay is conducted of the samples in memory and makes the model retain the knowledge of historical relations through memory knowledge distillation to prevent the catastrophic forgetting of the old task. The proposed method can better learn consistent representations to alleviate forgetting effectively. Extensive experiments on FewRel and TACRED datasets show that our method significantly outperforms state-of-the-art baselines and yield strong robustness on the imbalanced dataset.
• Abstract（参考訳）: 連続関係抽出(cre)は、古い関係を忘れずに、新しい関係を持つデータに関するモデルを継続的に訓練することを目的としている。 いくつかの以前の研究は、古い関係の典型的なサンプルを保存し、新しい関係を学ぶ際にそれらを再生することは、事実上忘れることを避けることを証明している。 しかし、これらのメモリベースのメソッドは、メモリサンプルに過剰に適合し、不均衡なデータセットでは性能が低下する傾向がある。 これらの課題を解決するために,記憶再生時の対比学習と知識蒸留を取り入れ,関係埋め込みの安定性を維持する一貫した表現学習手法を提案する。 具体的には、メモリバンクに基づく教師付きコントラスト学習を用いて、まず、モデルが関係表現を効果的に学習できるように、新しいタスクを訓練する。 そして、メモリ内のサンプルの対比再生を行い、モデルに記憶知識蒸留による歴史的関係の知識を保持させ、古いタスクが壊滅的に忘れ去られるのを防ぐ。 提案手法は, 一貫性のある表現を学習し, 忘れを効果的に緩和する。 FewRelとTACREDデータセットの大規模な実験により、我々の手法は最先端のベースラインを著しく上回り、不均衡なデータセットに強い堅牢性をもたらすことが示された。

関連論文リスト

• Contrastive Continual Learning with Importance Sampling and Prototype-Instance Relation Distillation [14.25441464051506]
  本稿では,従来のデータ分布を復元し,知識の保存を目的としたコントラスト連続学習(Contrastive Continual Learning via Importance Smpling, CCLIS)を提案する。 また,プロトタイプとサンプル表現の関係を維持する技術であるPRD(Prototype-instance Relation Distillation)の損失について述べる。
  論文  参考訳（メタデータ） (2024-03-07T15:47:52Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Serial Contrastive Knowledge Distillation for Continual Few-shot Relation Extraction [35.79570854392989]
  本稿では,連続的な数発のREタスクを実現するために,SCKDという新しいモデルを提案する。 具体的には,従来のモデルからの知識を保存するために,シリアル知識蒸留を設計する。 SCKDの有効性を2つのベンチマーク・データセットで検証した。
  論文  参考訳（メタデータ） (2023-05-11T07:25:47Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Continual Few-shot Relation Learning via Embedding Space Regularization and Data Augmentation [4.111899441919165]
  従来のタスク知識の破滅的な忘れを回避しつつ,ラベル付きデータが少ない新しい関係パターンを学習する必要がある。 埋め込み空間の正規化とデータ拡張に基づく新しい手法を提案する。 提案手法は,新たな数発タスクに一般化し,リレーショナル埋め込みに対する追加制約を課し,自己管理的なデータ追加を行うことにより,過去のタスクの破滅的な忘れを回避している。
  論文  参考訳（メタデータ） (2022-03-04T05:19:09Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Understanding Catastrophic Forgetting and Remembering in Continual Learning with Optimal Relevance Mapping [10.970706194360451]
  ニューラルネットワークにおける破滅的な忘れは、継続的な学習にとって重要な問題です。 最適オーバーラップ仮説にインスパイアされたRelevance Mapping Networks(RMN)を紹介します。 我々は、RMNが破滅的な忘れと記憶の双対の問題を乗り越える最適化された表現重複を学ぶことを示しています。
  論文  参考訳（メタデータ） (2021-02-22T20:34:00Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。