論文の概要: Learning Wisdom from Errors: Promoting LLM's Continual Relation Learning through Exploiting Error Cases

• arxiv url: http://arxiv.org/abs/2508.12031v1
• Date: Sat, 16 Aug 2025 12:49:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.522035
• Title: Learning Wisdom from Errors: Promoting LLM's Continual Relation Learning through Exploiting Error Cases
• Title（参考訳）: エラーから知恵を学習する:爆発的エラー事例を通してLLMの継続的な関係学習を促進する
• Authors: Shaozhe Yin, Jinyu Guo, Kai Shuang, Xia Liu, Ruize Ou,
• Abstract要約: CREにおけるLarge Language Models (LLM) に対する命令ベース連続コントラストチューニング手法を提案する。 我々は,TACREDとFewRelのモデルについて実験的に評価した。
• 参考スコア（独自算出の注目度）: 6.580051318980816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Relation Extraction (CRE) aims to continually learn new emerging relations while avoiding catastrophic forgetting. Existing CRE methods mainly use memory replay and contrastive learning to mitigate catastrophic forgetting. However, these methods do not attach importance to the error cases that can reveal the model's cognitive biases more effectively. To address this issue, we propose an instruction-based continual contrastive tuning approach for Large Language Models (LLMs) in CRE. Different from existing CRE methods that typically handle the training and memory data in a unified manner, this approach splits the training and memory data of each task into two parts respectively based on the correctness of the initial responses and treats them differently through dual-task fine-tuning. In addition, leveraging the advantages of LLM's instruction-following ability, we propose a novel instruction-based contrastive tuning strategy for LLM to continuously correct current cognitive biases with the guidance of previous data in an instruction-tuning manner, which mitigates the gap between old and new relations in a more suitable way for LLMs. We experimentally evaluate our model on TACRED and FewRel, and the results show that our model achieves new state-of-the-art CRE performance with significant improvements, demonstrating the importance of specializing in exploiting error cases.
• Abstract（参考訳）: 継続的関係抽出(CRE)は、破滅的な忘れ込みを避けつつ、新しい関係を継続的に学習することを目的としている。 既存のCRE法は主にメモリリプレイとコントラスト学習を用いて破滅的な忘れを軽減している。 しかし、これらの手法は、モデルの認知バイアスをより効果的に表すことのできるエラーケースに重要でない。 そこで本研究では,大規模言語モデル(LLM)に対する命令ベースの連続的コントラストチューニング手法を提案する。 トレーニングデータとメモリデータを統一的に扱う既存のCREメソッドとは異なり、本手法では、初期応答の正しさに基づいて各タスクのトレーニングデータとメモリデータをそれぞれ2つに分割し、デュアルタスクの微調整によって異なる処理を行う。 さらに,LLMの命令追従能力の利点を生かして,従来のデータによる指導による現在の認知バイアスを継続的に補正する,新たな命令ベースコントラスト的チューニング戦略を提案する。 我々は,TACREDとFewRelのモデルについて実験的に評価し,本モデルが最先端のCRE性能を実現し,エラー事例の活用に特化することの重要性を実証した。

関連論文リスト

• TRAIL: Joint Inference and Refinement of Knowledge Graphs with Large Language Models [5.678291291711662]
  TRAILは思考、推論、インクリメンタルラーニングのための、新しく統合されたフレームワークである。 共同推論と動的KG精製を大きな言語モデルと組み合わせる。 複数のベンチマークでの大規模な実験により、TRAILは既存のKG拡張および検索拡張LDMベースラインを3%から13%上回った。
  論文  参考訳（メタデータ） (2025-08-06T14:25:05Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [59.6658995479243]
  P&M(texttext-Perturb-and-Merge)は,モデルマージをCLパラダイムに統合し,忘れることを避けるための新しい連続学習フレームワークである。 理論的解析により、全てのタスクにおける総損失増加を最小化し、最適マージ係数の解析解を導出する。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• LLMs-as-Instructors: Learning from Errors Toward Automating Model Improvement [93.38736019287224]
  LLMs-as-Instructors"フレームワークは、より小さなターゲットモデルのトレーニングを自律的に強化する。 このフレームワークは、"Learning from Errors"理論にインスパイアされ、ターゲットモデル内の特定のエラーを注意深く分析するインストラクターLLMを使用している。 本フレームワークでは,適切なトレーニングデータに対する誤応答のみに焦点を当てた「エラーからの学習」と,比較学習を用いて誤りの深い理解を行う「コントラストによるエラーからの学習」という2つの戦略を実装している。
  論文  参考訳（メタデータ） (2024-06-29T17:16:04Z)
• CEM: A Data-Efficient Method for Large Language Models to Continue Evolving From Mistakes [36.14056870453356]
  大きな言語モデルを維持し、その欠点に対処するためには、継続的な学習が不可欠です。 本稿では,CPTデータ収集を目的としたデータ効率の高い手法であるCEM法を提案する。 実験の結果、CEMはドメイン内QAタスクとドメイン外QAタスクの両方で複数のモデルの性能を大幅に向上させ、最大29.63%のゲインを達成している。
  論文  参考訳（メタデータ） (2024-04-11T17:44:56Z)
• CoIN: A Benchmark of Continual Instruction tuNing for Multimodel Large Language Model [121.23360004498893]
  逐次的命令チューニングパラダイムにおける既存のMLLMを評価するためのベンチマークであるContinuous Instruction tuNing(CoIN)を提案する。 CoINの実験では、現在の強力なMLLMが依然として破滅的な忘れを被っていることが示されている。 従来の命令アライメントを維持するのに有効なMLLMにMoELoRAを導入する。
  論文  参考訳（メタデータ） (2024-03-13T08:54:31Z)
• Continual Instruction Tuning for Large Multimodal Models [30.438442723421556]
  マルチタスク・ジョイント・インストラクション・チューニングはモデルの連続的な学習能力と忘れ忘れを促進させる。 LMMの連続的命令チューニングのためのタスク類似性インフォームド正規化とモデル拡張法を提案する。
  論文  参考訳（メタデータ） (2023-11-27T15:04:48Z)
• Orthogonal Subspace Learning for Language Model Continual Learning [45.35861158925975]
  O-LoRAは、言語モデルにおける継続学習のためのシンプルで効率的なアプローチである。 提案手法は,パラメータの余分な追加コストのみを誘導し,再生にユーザデータストレージを必要としない。
  論文  参考訳（メタデータ） (2023-10-22T02:23:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。