論文の概要: Bridging Generative and Discriminative Learning: Few-Shot Relation Extraction via Two-Stage Knowledge-Guided Pre-training

• arxiv url: http://arxiv.org/abs/2505.12236v1
• Date: Sun, 18 May 2025 05:17:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.110352
• Title: Bridging Generative and Discriminative Learning: Few-Shot Relation Extraction via Two-Stage Knowledge-Guided Pre-training
• Title（参考訳）: ブリッジ生成学習と差別学習:二段階知識誘導事前学習によるFew-Shot関係抽出
• Authors: Quanjiang Guo, Jinchuan Zhang, Sijie Wang, Ling Tian, Zhao Kang, Bin Yan, Weidong Xiao,
• Abstract要約: TKRE(Two-Stage Knowledge-Guided Pre-Training for Relation extract)は、生成的および識別的学習パラダイムを橋渡しする新しいフレームワークである。 TKRE では,1) 説明駆動型知識とスキーマ制約付き合成データの生成に LLM を活用し,データの不足問題に対処し,(2) マスケッドスパン言語モデリングとスパンレベルコントラスト学習を組み合わせた2段階の事前学習戦略を導入する。 ベンチマークデータセットに関する総合的な実験は、TKREの有効性を示し、FSREにおける新しい最先端性能を実現し、低域でのより広範な応用の可能性を示す。
• 参考スコア（独自算出の注目度）: 12.475332671737686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-Shot Relation Extraction (FSRE) remains a challenging task due to the scarcity of annotated data and the limited generalization capabilities of existing models. Although large language models (LLMs) have demonstrated potential in FSRE through in-context learning (ICL), their general-purpose training objectives often result in suboptimal performance for task-specific relation extraction. To overcome these challenges, we propose TKRE (Two-Stage Knowledge-Guided Pre-training for Relation Extraction), a novel framework that synergistically integrates LLMs with traditional relation extraction models, bridging generative and discriminative learning paradigms. TKRE introduces two key innovations: (1) leveraging LLMs to generate explanation-driven knowledge and schema-constrained synthetic data, addressing the issue of data scarcity; and (2) a two-stage pre-training strategy combining Masked Span Language Modeling (MSLM) and Span-Level Contrastive Learning (SCL) to enhance relational reasoning and generalization. Together, these components enable TKRE to effectively tackle FSRE tasks. Comprehensive experiments on benchmark datasets demonstrate the efficacy of TKRE, achieving new state-of-the-art performance in FSRE and underscoring its potential for broader application in low-resource scenarios. \footnote{The code and data are released on https://github.com/UESTC-GQJ/TKRE.
• Abstract（参考訳）: Few-Shot Relation extract (FSRE) は、注釈付きデータの不足と既存のモデルの限定的な一般化能力のため、依然として困難な課題である。 大規模言語モデル (LLM) は、文脈内学習 (ICL) を通じてFSREの可能性を実証しているが、それらの汎用的な訓練目的は、タスク固有の関係抽出に最適なパフォーマンスをもたらすことが多い。 これらの課題を克服するために、従来の関係抽出モデルとLLMを相乗的に統合し、生成的および識別的学習パラダイムをブリッジするTKRE(Two-Stage Knowledge-Guided Pre-Training for Relation extract)を提案する。 TKREは,LLMを利用して説明駆動の知識とスキーマ制約付き合成データを生成し,データ不足の問題に対処する。また,Masked Span Language Modeling (MSLM)とSpan-Level Contrastive Learning (SCL)を組み合わせた2段階事前学習戦略により,関係推論と一般化の促進を行う。 これらのコンポーネントによって、TKREはFSREタスクに効果的に取り組むことができる。 ベンチマークデータセットに関する包括的な実験は、TKREの有効性を実証し、FSREで最先端のパフォーマンスを新たに達成し、低リソースシナリオにおけるより広範な応用の可能性を強調している。 コードとデータはhttps://github.com/UESTC-GQJ/TKREで公開されている。

関連論文リスト

• New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration [49.180693704510006]
  Referring Expression (REC) は、言語理解、画像理解、言語と画像の接点の相互作用を評価するためのクロスモーダルなタスクである。 2つの重要な特徴を持つ新しいRECデータセットを導入する。第一に、オブジェクトカテゴリ、属性、関係性に関する詳細な推論を必要とする、制御可能な難易度で設計されている。 第二に、微粒な編集によって生成された否定的なテキストと画像が組み込まれ、既存のターゲットを拒否するモデルの能力を明示的にテストする。
  論文  参考訳（メタデータ） (2025-02-27T13:58:44Z)
• Empowering Few-Shot Relation Extraction with The Integration of Traditional RE Methods and Large Language Models [48.846159555253834]
  Few-Shot Relation extract (FSRE)は自然言語処理(NLP)の研究者にアピールする 大規模言語モデル(LLM)の近年の出現により、多くの研究者が文脈学習(ICL)を通じてFSREを探求している。
  論文  参考訳（メタデータ） (2024-07-12T03:31:11Z)
• Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
  In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。 ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。 そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T06:37:47Z)
• Benchmarking General-Purpose In-Context Learning [19.40952728849431]
  In-context Learning (ICL) は、生成モデルに新しいタスクを効果的に、かつ効率的にオンザフライで対処する権限を与える。 本稿では,より広い範囲の課題に対処するためのICLの拡張について検討する。 GPICLの機能のトレーニングと評価に特化して開発されたベンチマークを2つ導入する。
  論文  参考訳（メタデータ） (2024-05-27T14:50:42Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。