論文の概要: Enhancing Continual Relation Extraction via Classifier Decomposition

• arxiv url: http://arxiv.org/abs/2305.04636v1
• Date: Mon, 8 May 2023 11:29:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 14:39:58.398254
• Title: Enhancing Continual Relation Extraction via Classifier Decomposition
• Title（参考訳）: 分類器分解による連続関係抽出の強化
• Authors: Heming Xia, Peiyi Wang, Tianyu Liu, Binghuai Lin, Yunbo Cao, Zhifang Sui
• Abstract要約: 連続的関係抽出モデルは、ストリーミングデータの古い関係を忘れずに新しい関係を扱うことを目的としている。 ほとんどのモデルは、モデルが最初に新しい関係の表現を学ぶときのみ、バニラ戦略を採用する。 我々は,最後のFFN層を分割した前と現在の分類器に分割する,シンプルで効果的な分類器分解フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 30.88081408988638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual relation extraction (CRE) models aim at handling emerging new relations while avoiding catastrophically forgetting old ones in the streaming data. Though improvements have been shown by previous CRE studies, most of them only adopt a vanilla strategy when models first learn representations of new relations. In this work, we point out that there exist two typical biases after training of this vanilla strategy: classifier bias and representation bias, which causes the previous knowledge that the model learned to be shaded. To alleviate those biases, we propose a simple yet effective classifier decomposition framework that splits the last FFN layer into separated previous and current classifiers, so as to maintain previous knowledge and encourage the model to learn more robust representations at this training stage. Experimental results on two standard benchmarks show that our proposed framework consistently outperforms the state-of-the-art CRE models, which indicates that the importance of the first training stage to CRE models may be underestimated. Our code is available at https://github.com/hemingkx/CDec.
• Abstract（参考訳）: 連続関係抽出(cre)モデルは、ストリーミングデータ内の古い関係を壊滅的に忘れずに、新たな関係の開拓を目標としている。 以前のCRE研究で改善が示されたが、モデルが新しい関係の表現を最初に学習したときにのみバニラ戦略が採用されている。 本研究では,このバニラ戦略を訓練した後の典型的なバイアスとして,分類バイアスと表現バイアスの2つが存在することを指摘した。 これらのバイアスを緩和するために,最終ffn層を従来の知識を維持し,このトレーニング段階でより堅牢な表現を学ぶようモデルに促すため,従来のffn層を分割した,単純かつ効果的な分類器分解フレームワークを提案する。 2つの標準ベンチマークによる実験結果から,提案するフレームワークは最先端のCREモデルより一貫して優れており,CREモデルに対する第1のトレーニングステージの重要性が過小評価されている可能性が示唆された。 私たちのコードはhttps://github.com/hemingkx/cdecで利用可能です。

関連論文リスト

• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Learning Robust Representations for Continual Relation Extraction via Adversarial Class Augmentation [45.87125587600661]
  連続関係抽出(CRE)は、クラス増分データストリームから新しい関係を継続的に学習することを目的としている。 CREモデルは通常、破滅的な忘れの問題、すなわちモデルが新しい関係を学ぶと古い関係のパフォーマンスが著しく低下する。 この問題に対処するために,より正確で堅牢な表現を,単純な対角クラス拡張機構によって学習することを奨励する。
  論文  参考訳（メタデータ） (2022-10-10T08:50:48Z)
• Mimicking the Oracle: An Initial Phase Decorrelation Approach for Class Incremental Learning [141.35105358670316]
  本研究では,Na"訓練初期相モデルとオラクルモデルとの相違について検討する。 より均一に散らばるように,各クラスの表現を効果的に正規化するクラスワイド・デコレーション(CwD)を提案する。 私たちのCwDは実装が簡単で、既存のメソッドに簡単にプラグインできます。
  論文  参考訳（メタデータ） (2021-12-09T07:20:32Z)
• End-to-End Weak Supervision [15.125993628007972]
  下流モデルを直接学習するためのエンドツーエンドアプローチを提案する。 下流テストセットにおけるエンドモデル性能の観点から,先行作業よりも性能が向上したことを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:10:11Z)
• Conterfactual Generative Zero-Shot Semantic Segmentation [16.684570608930983]
  一般的なゼロショットセマンティックセグメンテーション手法の1つは、生成モデルに基づいている。 本研究では,オリジナルのモデルにおいて,共同創設者を避けるための反事実的手法を検討する。 我々のモデルは、2つの実世界のデータセットのベースラインモデルと比較される。
  論文  参考訳（メタデータ） (2021-06-11T13:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。