論文の概要: Less is More: Rethinking State-of-the-art Continual Relation Extraction Models with a Frustratingly Easy but Effective Approach

• arxiv url: http://arxiv.org/abs/2209.00243v1
• Date: Thu, 1 Sep 2022 06:08:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-09-02 13:43:13.372274
• Title: Less is More: Rethinking State-of-the-art Continual Relation Extraction Models with a Frustratingly Easy but Effective Approach
• Title（参考訳）: 詳細: フラストレーションやすいが効果的なアプローチによる最先端の連続関係抽出モデルの再考
• Authors: Peiyi Wang, Yifan Song, Tianyu Liu, Rundong Gao, Binghuai Lin, Yunbo Cao and Zhifang Sui
• Abstract要約: 連続関係抽出(CRE)では、クラス増分データストリームから新しい関係を継続的に学習する必要がある。 CREの学習段階が2つあるフラストレーション的に簡単だが効果的なアプローチ(FEA)を提案する。
• 参考スコア（独自算出の注目度）: 35.377756110634515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual relation extraction (CRE) requires the model to continually learn new relations from class-incremental data streams. In this paper, we propose a Frustratingly easy but Effective Approach (FEA) method with two learning stages for CRE: 1) Fast Adaption (FA) warms up the model with only new data. 2) Balanced Tuning (BT) finetunes the model on the balanced memory data. Despite its simplicity, FEA achieves comparable (on TACRED or superior (on FewRel) performance compared with the state-of-the-art baselines. With careful examinations, we find that the data imbalance between new and old relations leads to a skewed decision boundary in the head classifiers over the pretrained encoders, thus hurting the overall performance. In FEA, the FA stage unleashes the potential of memory data for the subsequent finetuning, while the BT stage helps establish a more balanced decision boundary. With a unified view, we find that two strong CRE baselines can be subsumed into the proposed training pipeline. The success of FEA also provides actionable insights and suggestions for future model designing in CRE.
• Abstract（参考訳）: 連続関係抽出(cre)は、クラスインクリメンタルなデータストリームから新しい関係を継続的に学習するモデルを必要とする。 本稿では, CREの学習段階が2段階あるフラストレーション的に簡単だが効果的なアプローチ (FEA) を提案する。 1)高速適応(FA)は新しいデータだけでモデルをウォームアップします。 2) バランストチューニング(BT)は、バランストメモリデータに基づいてモデルを微調整する。 その単純さにもかかわらず、feaは最先端のベースラインと比べて、同等のパフォーマンス(tacredまたはpresorrel)を達成している。 注意深い検討により,新しい関係と古い関係との間のデータの不均衡が,事前学習したエンコーダ上のヘッド分類器のゆがみを生じさせ,全体的な性能を損なうことが分かった。 FEAでは、FAステージは後続の微調整のためのメモリデータのポテンシャルを解放し、BTステージはよりバランスの取れた決定境界を確立するのに役立つ。 統一されたビューでは、2つの強力なCREベースラインが提案されたトレーニングパイプラインに仮定できる。 FEAの成功はまた、CREにおける将来のモデル設計のための実用的な洞察と提案を提供する。

関連論文リスト

• Multi-Level Collaboration in Model Merging [56.31088116526825]
  本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。 これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
  論文  参考訳（メタデータ） (2025-03-03T07:45:04Z)
• DESIRE: Dynamic Knowledge Consolidation for Rehearsal-Free Continual Learning [23.878495627964146]
  連続学習は、人間のような以前に学習された知識を保持する能力をモデルに装備することを目的としている。 既存の手法は通常、実験データが事前訓練されたモデルで使用されているという事実によって引き起こされる情報漏洩の問題を見落としている。 本稿では,ロラをベースとした新たなリハーサルフリー手法DESIREを提案する。
  論文  参考訳（メタデータ） (2024-11-28T13:54:01Z)
• PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning [49.60634126342945]
  Counterfactually Augmented Data (CAD)は、既存のデータサンプルのラベルを他のクラスに戻すのに、最小限かつ十分な修正を適用することで、新しいデータサンプルを作成する。 近年の研究では、CADを用いたトレーニングが、他の重要な文脈情報を無視しながら、モデルが修正機能に過度にフォーカスする可能性があることが示されている。 我々は、対実的手がかりの学習に加えて、グローバルな特徴アライメントを促進するために、対照的な学習を採用する。
  論文  参考訳（メタデータ） (2024-06-09T07:29:55Z)
• Rationale-Enhanced Language Models are Better Continual Relation Learners [29.311298089285753]
  連続的関係抽出(CRE)は,新たに出現する関係の系列を学習する際に,破滅的な忘れを解くことを目的としている。 最近のCRE研究では、将来の類似関係に対する堅牢性の欠如から破滅的な忘れが生じることが示されている。
  論文  参考訳（メタデータ） (2023-10-10T11:50:27Z)
• Alleviating the Effect of Data Imbalance on Adversarial Training [26.36714114672729]
  長い尾の分布に従うデータセットの逆トレーニングについて検討する。 我々は、新しい対人訓練フレームワーク、Re-balancing Adversarial Training (REAT)を提案する。
  論文  参考訳（メタデータ） (2023-07-14T07:01:48Z)
• Enhancing Continual Relation Extraction via Classifier Decomposition [30.88081408988638]
  連続的関係抽出モデルは、ストリーミングデータの古い関係を忘れずに新しい関係を扱うことを目的としている。 ほとんどのモデルは、モデルが最初に新しい関係の表現を学ぶときのみ、バニラ戦略を採用する。 我々は,最後のFFN層を分割した前と現在の分類器に分割する,シンプルで効果的な分類器分解フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T11:29:33Z)
• CORSD: Class-Oriented Relational Self Distillation [16.11986532440837]
  知識蒸留は、いくつかの制限を保ちながら効果的なモデル圧縮方法を実行する。 制約に対処するために,クラス指向自己蒸留(CORSD)という新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-28T16:00:31Z)
• Learning Robust Representations for Continual Relation Extraction via Adversarial Class Augmentation [45.87125587600661]
  連続関係抽出(CRE)は、クラス増分データストリームから新しい関係を継続的に学習することを目的としている。 CREモデルは通常、破滅的な忘れの問題、すなわちモデルが新しい関係を学ぶと古い関係のパフォーマンスが著しく低下する。 この問題に対処するために,より正確で堅牢な表現を,単純な対角クラス拡張機構によって学習することを奨励する。
  論文  参考訳（メタデータ） (2022-10-10T08:50:48Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Learning of Visual Relations: The Devil is in the Tails [59.737494875502215]
  視覚的関係学習は、物体群に関する共同推論の性質から、長期にわたる問題である。 本稿では,悪が天国にあるという別の仮説を探求する。 この仮説の下では、モデルをシンプルに保ちながら、長い尾の分布に対処する能力を向上させることで、より良い性能が得られる。
  論文  参考訳（メタデータ） (2021-08-22T08:59:35Z)
• Exposing Shallow Heuristics of Relation Extraction Models with Challenge Data [49.378860065474875]
  我々は、TACREDで訓練されたSOTA関係抽出(RE)モデルの故障モードを同定する。 トレーニングの例として、いくつかの課題データを追加することで、モデルのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-10-07T21:17:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。