論文の概要: Improving Continual Relation Extraction by Distinguishing Analogous Semantics

• arxiv url: http://arxiv.org/abs/2305.06620v1
• Date: Thu, 11 May 2023 07:32:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 15:38:15.007519
• Title: Improving Continual Relation Extraction by Distinguishing Analogous Semantics
• Title（参考訳）: アナログセマンティクスの識別による連続的関係抽出の改善
• Authors: Wenzheng Zhao and Yuanning Cui and Wei Hu
• Abstract要約: 連続的関係抽出は、学習した関係を忘れずに、絶えず出現する関係を学習することを目的としている。 既存のワークには、忘れを緩和するためにモデルをトレーニングするために、少数の典型的なサンプルが格納されている。 我々は既存の作品について実証的研究を行い、それらの業績が類似関係に強く影響されていることを観察する。
• 参考スコア（独自算出の注目度）: 11.420578494453343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual relation extraction (RE) aims to learn constantly emerging relations while avoiding forgetting the learned relations. Existing works store a small number of typical samples to re-train the model for alleviating forgetting. However, repeatedly replaying these samples may cause the overfitting problem. We conduct an empirical study on existing works and observe that their performance is severely affected by analogous relations. To address this issue, we propose a novel continual extraction model for analogous relations. Specifically, we design memory-insensitive relation prototypes and memory augmentation to overcome the overfitting problem. We also introduce integrated training and focal knowledge distillation to enhance the performance on analogous relations. Experimental results show the superiority of our model and demonstrate its effectiveness in distinguishing analogous relations and overcoming overfitting.
• Abstract（参考訳）: 連続的関係抽出(RE)は,学習した関係を忘れずに常に出現する関係を学習することを目的としている。 既存のワークは、忘れることを緩和するためにモデルを再トレーニングするために、少数の典型的なサンプルを格納している。 しかし、これらのサンプルを繰り返し再生することは過度な問題を引き起こす可能性がある。 我々は,既存の作品について経験的研究を行い,その性能が類似した関係によって著しく影響を受けることを観察する。 本稿では,類似関係に対する新しい連続的抽出モデルを提案する。 具体的には,オーバーフィッティング問題を克服するために,メモリ非感受性関係プロトタイプとメモリ拡張をデザインする。 また,類似関係の性能を高めるため,統合学習と焦点知識蒸留も導入した。 実験結果から,本モデルの優位性を示し,類似関係を識別し,オーバーフィッティングを克服する効果を示した。

関連論文リスト

• Rationale-Enhanced Language Models are Better Continual Relation Learners [29.311298089285753]
  連続的関係抽出(CRE)は,新たに出現する関係の系列を学習する際に,破滅的な忘れを解くことを目的としている。 最近のCRE研究では、将来の類似関係に対する堅牢性の欠如から破滅的な忘れが生じることが示されている。
  論文  参考訳（メタデータ） (2023-10-10T11:50:27Z)
• Open Set Relation Extraction via Unknown-Aware Training [72.10462476890784]
  負のインスタンスを動的に合成することでモデルを正規化する未知の学習手法を提案する。 テキストの敵対的攻撃に触発されて、我々は適応的に、小さいが重要な摂動を元のトレーニングインスタンスに適用する。 実験結果から, 既知の関係の分類を損なうことなく, 未知の関係検出を行うことができた。
  論文  参考訳（メタデータ） (2023-06-08T05:45:25Z)
• Serial Contrastive Knowledge Distillation for Continual Few-shot Relation Extraction [35.79570854392989]
  本稿では,連続的な数発のREタスクを実現するために,SCKDという新しいモデルを提案する。 具体的には,従来のモデルからの知識を保存するために,シリアル知識蒸留を設計する。 SCKDの有効性を2つのベンチマーク・データセットで検証した。
  論文  参考訳（メタデータ） (2023-05-11T07:25:47Z)
• Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery [52.95935278819512]
  本研究で得られたCGDIALOGコーパスに基づくオープンドメイン応答生成モデルのスプリアス相関に関する最初の研究を行った。 因果探索アルゴリズムに着想を得て,反応生成モデルの学習と推論のための新しいモデル非依存手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T06:33:48Z)
• Improving Narrative Relationship Embeddings by Training with Additional Inverse-Relationship Constraints [0.0]
  本稿では,物語の意味空間の縮小から,人物関係を埋め込むという課題について考察する。 この仮定を解析し,人為的なラベルを用いた下流クラスタリングタスクの有効性をシミュレートするユニークな評価法を用いて,ベースライン・オブ・ザ・アートモデルに対するアプローチを比較する。
  論文  参考訳（メタデータ） (2022-12-21T17:59:11Z)
• Learning Robust Representations for Continual Relation Extraction via Adversarial Class Augmentation [45.87125587600661]
  連続関係抽出(CRE)は、クラス増分データストリームから新しい関係を継続的に学習することを目的としている。 CREモデルは通常、破滅的な忘れの問題、すなわちモデルが新しい関係を学ぶと古い関係のパフォーマンスが著しく低下する。 この問題に対処するために,より正確で堅牢な表現を,単純な対角クラス拡張機構によって学習することを奨励する。
  論文  参考訳（メタデータ） (2022-10-10T08:50:48Z)
• Consistent Representation Learning for Continual Relation Extraction [18.694012937149495]
  関係埋め込みの安定性を維持する一貫した表現学習法を提案する。 我々の手法は最先端のベースラインを著しく上回り、不均衡なデータセットに強い堅牢性をもたらす。
  論文  参考訳（メタデータ） (2022-03-05T12:16:34Z)
• Learning to Decouple Relations: Few-Shot Relation Classification with Entity-Guided Attention and Confusion-Aware Training [49.9995628166064]
  本稿では,2つのメカニズムを備えたモデルであるCTEGを提案する。 一方、注意を誘導するEGA機構を導入し、混乱を引き起こす情報をフィルタリングする。 一方,コンフュージョン・アウェア・トレーニング(CAT)法は,関係の識別を明示的に学習するために提案されている。
  論文  参考訳（メタデータ） (2020-10-21T11:07:53Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)
• Amortized Causal Discovery: Learning to Infer Causal Graphs from Time-Series Data [63.15776078733762]
  本稿では,時系列データから因果関係を推定する新しいフレームワークであるAmortized Causal Discoveryを提案する。 本研究では,本手法が変分モデルとして実装され,因果発見性能が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。