論文の概要: Learning Robust Representations for Continual Relation Extraction via Adversarial Class Augmentation

• arxiv url: http://arxiv.org/abs/2210.04497v1
• Date: Mon, 10 Oct 2022 08:50:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 16:54:28.290057
• Title: Learning Robust Representations for Continual Relation Extraction via Adversarial Class Augmentation
• Title（参考訳）: 相反クラス拡張による連続的関係抽出のための学習ロバスト表現
• Authors: Peiyi Wang, Yifan Song, Tianyu Liu, Binghuai Lin, Yunbo Cao, Sujian Li, Zhifang Sui
• Abstract要約: 連続関係抽出(CRE)は、クラス増分データストリームから新しい関係を継続的に学習することを目的としている。 CREモデルは通常、破滅的な忘れの問題、すなわちモデルが新しい関係を学ぶと古い関係のパフォーマンスが著しく低下する。 この問題に対処するために,より正確で堅牢な表現を,単純な対角クラス拡張機構によって学習することを奨励する。
• 参考スコア（独自算出の注目度）: 45.87125587600661
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual relation extraction (CRE) aims to continually learn new relations from a class-incremental data stream. CRE model usually suffers from catastrophic forgetting problem, i.e., the performance of old relations seriously degrades when the model learns new relations. Most previous work attributes catastrophic forgetting to the corruption of the learned representations as new relations come, with an implicit assumption that the CRE models have adequately learned the old relations. In this paper, through empirical studies we argue that this assumption may not hold, and an important reason for catastrophic forgetting is that the learned representations do not have good robustness against the appearance of analogous relations in the subsequent learning process. To address this issue, we encourage the model to learn more precise and robust representations through a simple yet effective adversarial class augmentation mechanism (ACA), which is easy to implement and model-agnostic. Experimental results show that ACA can consistently improve the performance of state-of-the-art CRE models on two popular benchmarks.
• Abstract（参考訳）: 連続関係抽出(CRE)は、クラス増分データストリームから新しい関係を継続的に学習することを目的としている。 CREモデルは通常、破滅的な忘れの問題、すなわちモデルが新しい関係を学ぶと古い関係のパフォーマンスが著しく低下する。 以前のほとんどの著作は、新しい関係が生まれるにつれて学習された表現の腐敗を破滅的に忘れ、creモデルが古い関係を十分に学習しているという暗黙の仮定をもっている。 本稿では,この仮定が成立しない可能性があること,また,それに続く学習過程における類似関係の出現に対して,学習表現が良好な頑健性を持っていないこと,について述べる。 この問題に対処するため,我々は,より正確かつ堅牢な表現を,実装が容易かつモデルに依存しない単純な対角クラス拡張機構(ACA)を通じて学習することを奨励する。 実験結果から、ACAは2つのベンチマークで最先端のCREモデルの性能を一貫して改善できることが示された。

関連論文リスト

• Rationale-Enhanced Language Models are Better Continual Relation Learners [29.311298089285753]
  連続的関係抽出(CRE)は,新たに出現する関係の系列を学習する際に,破滅的な忘れを解くことを目的としている。 最近のCRE研究では、将来の類似関係に対する堅牢性の欠如から破滅的な忘れが生じることが示されている。
  論文  参考訳（メタデータ） (2023-10-10T11:50:27Z)
• Improving Continual Relation Extraction by Distinguishing Analogous Semantics [11.420578494453343]
  連続的関係抽出は、学習した関係を忘れずに、絶えず出現する関係を学習することを目的としている。 既存のワークには、忘れを緩和するためにモデルをトレーニングするために、少数の典型的なサンプルが格納されている。 我々は既存の作品について実証的研究を行い、それらの業績が類似関係に強く影響されていることを観察する。
  論文  参考訳（メタデータ） (2023-05-11T07:32:20Z)
• Enhancing Continual Relation Extraction via Classifier Decomposition [30.88081408988638]
  連続的関係抽出モデルは、ストリーミングデータの古い関係を忘れずに新しい関係を扱うことを目的としている。 ほとんどのモデルは、モデルが最初に新しい関係の表現を学ぶときのみ、バニラ戦略を採用する。 我々は,最後のFFN層を分割した前と現在の分類器に分割する,シンプルで効果的な分類器分解フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T11:29:33Z)
• Less is More: Rethinking State-of-the-art Continual Relation Extraction Models with a Frustratingly Easy but Effective Approach [35.377756110634515]
  連続関係抽出(CRE)では、クラス増分データストリームから新しい関係を継続的に学習する必要がある。 CREの学習段階が2つあるフラストレーション的に簡単だが効果的なアプローチ(FEA)を提案する。
  論文  参考訳（メタデータ） (2022-09-01T06:08:07Z)
• Consistent Representation Learning for Continual Relation Extraction [18.694012937149495]
  関係埋め込みの安定性を維持する一貫した表現学習法を提案する。 我々の手法は最先端のベースラインを著しく上回り、不均衡なデータセットに強い堅牢性をもたらす。
  論文  参考訳（メタデータ） (2022-03-05T12:16:34Z)
• Learning of Visual Relations: The Devil is in the Tails [59.737494875502215]
  視覚的関係学習は、物体群に関する共同推論の性質から、長期にわたる問題である。 本稿では,悪が天国にあるという別の仮説を探求する。 この仮説の下では、モデルをシンプルに保ちながら、長い尾の分布に対処する能力を向上させることで、より良い性能が得られる。
  論文  参考訳（メタデータ） (2021-08-22T08:59:35Z)
• Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction [84.64435075778988]
  本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。 我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。 私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
  論文  参考訳（メタデータ） (2020-11-27T06:21:12Z)
• Learning to Decouple Relations: Few-Shot Relation Classification with Entity-Guided Attention and Confusion-Aware Training [49.9995628166064]
  本稿では,2つのメカニズムを備えたモデルであるCTEGを提案する。 一方、注意を誘導するEGA機構を導入し、混乱を引き起こす情報をフィルタリングする。 一方,コンフュージョン・アウェア・トレーニング(CAT)法は,関係の識別を明示的に学習するために提案されている。
  論文  参考訳（メタデータ） (2020-10-21T11:07:53Z)
• High-order Semantic Role Labeling [86.29371274587146]
  本稿では,ニューラルセマンティックロールラベリングモデルのための高階グラフ構造を提案する。 これにより、モデルは孤立述語-引数対だけでなく、述語-引数対間の相互作用も明示的に考慮することができる。 CoNLL-2009ベンチマークの7つの言語に対する実験結果から、高次構造学習技術は強力なSRLモデルに有益であることが示された。
  論文  参考訳（メタデータ） (2020-10-09T15:33:54Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。