Fugu-MT 論文翻訳(概要): Rationale-Enhanced Language Models are Better Continual Relation Learners

論文の概要: Rationale-Enhanced Language Models are Better Continual Relation Learners

arxiv url: http://arxiv.org/abs/2310.06547v1
Date: Tue, 10 Oct 2023 11:50:27 GMT
ステータス: 処理完了
システム内更新日: 2023-10-11 15:47:29.476764
Title: Rationale-Enhanced Language Models are Better Continual Relation Learners
Title（参考訳）: Rationale-Enhanced Language Modelsは継続関係学習者より優れている
Authors: Weimin Xiong, Yifan Song, Peiyi Wang, Sujian Li
Abstract要約: 連続的関係抽出(CRE)は,新たに出現する関係の系列を学習する際に,破滅的な忘れを解くことを目的としている。最近のCRE研究では、将来の類似関係に対する堅牢性の欠如から破滅的な忘れが生じることが示されている。
参考スコア（独自算出の注目度）: 29.311298089285753
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual relation extraction (CRE) aims to solve the problem of catastrophic forgetting when learning a sequence of newly emerging relations. Recent CRE studies have found that catastrophic forgetting arises from the model's lack of robustness against future analogous relations. To address the issue, we introduce rationale, i.e., the explanations of relation classification results generated by large language models (LLM), into CRE task. Specifically, we design the multi-task rationale tuning strategy to help the model learn current relations robustly. We also conduct contrastive rationale replay to further distinguish analogous relations. Experimental results on two standard benchmarks demonstrate that our method outperforms the state-of-the-art CRE models.
Abstract（参考訳）: 連続的関係抽出(CRE)は,新たに出現する関係の系列を学習する際に,破滅的な忘れを解くことを目的としている。最近のCRE研究では、将来の類似関係に対する堅牢性の欠如から破滅的な忘れが生じることが示されている。この問題に対処するために,大規模言語モデル(LLM)によって生成された関係分類結果の説明をCREタスクに導入する。具体的には、モデルが現在の関係を堅牢に学習できるように、マルチタスクの合理性チューニング戦略を設計する。また,類似関係をさらに識別するために,対比的合理的なリプレイを行う。 2つの標準ベンチマーク実験の結果,本手法は最先端のCREモデルよりも優れていた。

関連論文リスト

Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
論文参考訳（メタデータ） (2024-07-03T15:01:18Z)
Fine-Grained Causal Dynamics Learning with Quantization for Improving Robustness in Reinforcement Learning [26.34622544479565]
因果ダイナミクス学習は、強化学習における堅牢性を高めるための有望なアプローチである。本稿では,微粒な因果構造を推定し,それらを予測に利用する新しいモデルを提案する。
論文参考訳（メタデータ） (2024-06-05T13:13:58Z)
Improving Continual Relation Extraction by Distinguishing Analogous Semantics [11.420578494453343]
連続的関係抽出は、学習した関係を忘れずに、絶えず出現する関係を学習することを目的としている。既存のワークには、忘れを緩和するためにモデルをトレーニングするために、少数の典型的なサンプルが格納されている。我々は既存の作品について実証的研究を行い、それらの業績が類似関係に強く影響されていることを観察する。
論文参考訳（メタデータ） (2023-05-11T07:32:20Z)
Enhancing Continual Relation Extraction via Classifier Decomposition [30.88081408988638]
連続的関係抽出モデルは、ストリーミングデータの古い関係を忘れずに新しい関係を扱うことを目的としている。ほとんどのモデルは、モデルが最初に新しい関係の表現を学ぶときのみ、バニラ戦略を採用する。我々は,最後のFFN層を分割した前と現在の分類器に分割する,シンプルで効果的な分類器分解フレームワークを提案する。
論文参考訳（メタデータ） (2023-05-08T11:29:33Z)
Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery [52.95935278819512]
本研究で得られたCGDIALOGコーパスに基づくオープンドメイン応答生成モデルのスプリアス相関に関する最初の研究を行った。因果探索アルゴリズムに着想を得て,反応生成モデルの学習と推論のための新しいモデル非依存手法を提案する。
論文参考訳（メタデータ） (2023-03-02T06:33:48Z)
Learning Robust Representations for Continual Relation Extraction via Adversarial Class Augmentation [45.87125587600661]
連続関係抽出(CRE)は、クラス増分データストリームから新しい関係を継続的に学習することを目的としている。 CREモデルは通常、破滅的な忘れの問題、すなわちモデルが新しい関係を学ぶと古い関係のパフォーマンスが著しく低下する。この問題に対処するために,より正確で堅牢な表現を,単純な対角クラス拡張機構によって学習することを奨励する。
論文参考訳（メタデータ） (2022-10-10T08:50:48Z)
Less is More: Rethinking State-of-the-art Continual Relation Extraction Models with a Frustratingly Easy but Effective Approach [35.377756110634515]
連続関係抽出(CRE)では、クラス増分データストリームから新しい関係を継続的に学習する必要がある。 CREの学習段階が2つあるフラストレーション的に簡単だが効果的なアプローチ(FEA)を提案する。
論文参考訳（メタデータ） (2022-09-01T06:08:07Z)
SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文参考訳（メタデータ） (2021-09-24T17:37:35Z)
Learning to Decouple Relations: Few-Shot Relation Classification with Entity-Guided Attention and Confusion-Aware Training [49.9995628166064]
本稿では,2つのメカニズムを備えたモデルであるCTEGを提案する。一方、注意を誘導するEGA機構を導入し、混乱を引き起こす情報をフィルタリングする。一方,コンフュージョン・アウェア・トレーニング(CAT)法は,関係の識別を明示的に学習するために提案されている。
論文参考訳（メタデータ） (2020-10-21T11:07:53Z)
High-order Semantic Role Labeling [86.29371274587146]
本稿では,ニューラルセマンティックロールラベリングモデルのための高階グラフ構造を提案する。これにより、モデルは孤立述語-引数対だけでなく、述語-引数対間の相互作用も明示的に考慮することができる。 CoNLL-2009ベンチマークの7つの言語に対する実験結果から、高次構造学習技術は強力なSRLモデルに有益であることが示された。
論文参考訳（メタデータ） (2020-10-09T15:33:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。