論文の概要: Less is More: Rethinking State-of-the-art Continual Relation Extraction Models with a Frustratingly Easy but Effective Approach

• arxiv url: http://arxiv.org/abs/2209.00243v1
• Date: Thu, 1 Sep 2022 06:08:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-02 13:43:13.372274
• Title: Less is More: Rethinking State-of-the-art Continual Relation Extraction Models with a Frustratingly Easy but Effective Approach
• Title（参考訳）: 詳細: フラストレーションやすいが効果的なアプローチによる最先端の連続関係抽出モデルの再考
• Authors: Peiyi Wang, Yifan Song, Tianyu Liu, Rundong Gao, Binghuai Lin, Yunbo Cao and Zhifang Sui
• Abstract要約: 連続関係抽出(CRE)では、クラス増分データストリームから新しい関係を継続的に学習する必要がある。 CREの学習段階が2つあるフラストレーション的に簡単だが効果的なアプローチ(FEA)を提案する。
• 参考スコア（独自算出の注目度）: 35.377756110634515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual relation extraction (CRE) requires the model to continually learn new relations from class-incremental data streams. In this paper, we propose a Frustratingly easy but Effective Approach (FEA) method with two learning stages for CRE: 1) Fast Adaption (FA) warms up the model with only new data. 2) Balanced Tuning (BT) finetunes the model on the balanced memory data. Despite its simplicity, FEA achieves comparable (on TACRED or superior (on FewRel) performance compared with the state-of-the-art baselines. With careful examinations, we find that the data imbalance between new and old relations leads to a skewed decision boundary in the head classifiers over the pretrained encoders, thus hurting the overall performance. In FEA, the FA stage unleashes the potential of memory data for the subsequent finetuning, while the BT stage helps establish a more balanced decision boundary. With a unified view, we find that two strong CRE baselines can be subsumed into the proposed training pipeline. The success of FEA also provides actionable insights and suggestions for future model designing in CRE.
• Abstract（参考訳）: 連続関係抽出(cre)は、クラスインクリメンタルなデータストリームから新しい関係を継続的に学習するモデルを必要とする。 本稿では, CREの学習段階が2段階あるフラストレーション的に簡単だが効果的なアプローチ (FEA) を提案する。 1)高速適応(FA)は新しいデータだけでモデルをウォームアップします。 2) バランストチューニング(BT)は、バランストメモリデータに基づいてモデルを微調整する。 その単純さにもかかわらず、feaは最先端のベースラインと比べて、同等のパフォーマンス(tacredまたはpresorrel)を達成している。 注意深い検討により,新しい関係と古い関係との間のデータの不均衡が,事前学習したエンコーダ上のヘッド分類器のゆがみを生じさせ,全体的な性能を損なうことが分かった。 FEAでは、FAステージは後続の微調整のためのメモリデータのポテンシャルを解放し、BTステージはよりバランスの取れた決定境界を確立するのに役立つ。 統一されたビューでは、2つの強力なCREベースラインが提案されたトレーニングパイプラインに仮定できる。 FEAの成功はまた、CREにおける将来のモデル設計のための実用的な洞察と提案を提供する。

関連論文リスト

• Continual Contrastive Finetuning Improves Low-Resource Relation Extraction [34.76128090845668]
  関係抽出は低リソースのシナリオやドメインでは特に困難である。 近年の文献は自己教師型学習によって低リソースREに取り組みつつある。 コントラスト学習の一貫した目的を用いたREモデルの事前学習と微調整を提案する。
  論文  参考訳（メタデータ） (2022-12-21T07:30:22Z)
• How to train your draGAN: A task oriented solution to imbalanced classification [15.893327571516016]
  本稿では,新しいアーキテクチャであるdraGANを用いた,ユニークでパフォーマンスを重視したデータ生成戦略を提案する。 サンプルは、実際のデータと類似性ではなく、分類モデルの性能を最適化する目的で生成される。 経験的に、draGANの優位性を示すと同時に、いくつかの欠点も強調する。
  論文  参考訳（メタデータ） (2022-11-18T07:37:34Z)
• Learning Robust Representations for Continual Relation Extraction via Adversarial Class Augmentation [45.87125587600661]
  連続関係抽出(CRE)は、クラス増分データストリームから新しい関係を継続的に学習することを目的としている。 CREモデルは通常、破滅的な忘れの問題、すなわちモデルが新しい関係を学ぶと古い関係のパフォーマンスが著しく低下する。 この問題に対処するために,より正確で堅牢な表現を,単純な対角クラス拡張機構によって学習することを奨励する。
  論文  参考訳（メタデータ） (2022-10-10T08:50:48Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Learning of Visual Relations: The Devil is in the Tails [59.737494875502215]
  視覚的関係学習は、物体群に関する共同推論の性質から、長期にわたる問題である。 本稿では,悪が天国にあるという別の仮説を探求する。 この仮説の下では、モデルをシンプルに保ちながら、長い尾の分布に対処する能力を向上させることで、より良い性能が得られる。
  論文  参考訳（メタデータ） (2021-08-22T08:59:35Z)
• A Frustratingly Easy Approach for Entity and Relation Extraction [25.797992240847833]
  本稿では,エンティティと関係抽出のための簡単なパイプライン化手法を提案する。 標準ベンチマーク(ACE04、ACE05、SciERC)における新しい最先端技術を確立する。 このアプローチは基本的に2つの独立したエンコーダ上に構築され、単にエンティティモデルを使用して関係モデルの入力を構築します。
  論文  参考訳（メタデータ） (2020-10-24T07:14:01Z)
• Exposing Shallow Heuristics of Relation Extraction Models with Challenge Data [49.378860065474875]
  我々は、TACREDで訓練されたSOTA関係抽出(RE)モデルの故障モードを同定する。 トレーニングの例として、いくつかの課題データを追加することで、モデルのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-10-07T21:17:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。