論文の概要: Grasping the Essentials: Tailoring Large Language Models for Zero-Shot Relation Extraction

• arxiv url: http://arxiv.org/abs/2402.11142v2
• Date: Fri, 25 Oct 2024 03:37:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:34:41.865923
• Title: Grasping the Essentials: Tailoring Large Language Models for Zero-Shot Relation Extraction
• Title（参考訳）: 基本概念のグラッピング:ゼロショット関係抽出のための大規模言語モデルの構築
• Authors: Sizhe Zhou, Yu Meng, Bowen Jin, Jiawei Han,
• Abstract要約: 関係抽出(RE)は、テキスト内のエンティティ間の意味的関係を識別することを目的としている。 アノテーションの要求を減らすことを目的とした、ほとんどショットの学習は、通常、ターゲット関係に対する不完全で偏見のある監視を提供する。 1)大言語モデル(LLM)を利用して,関係定義とラベルなしコーパスから初期シードインスタンスを生成する。
• 参考スコア（独自算出の注目度）: 33.528688487954454
• License:
• Abstract: Relation extraction (RE) aims to identify semantic relationships between entities within text. Despite considerable advancements, existing models predominantly require extensive annotated training data, which is both costly and labor-intensive to collect. Moreover, these models often struggle to adapt to new or unseen relations. Few-shot learning, aiming to lessen annotation demands, typically provides incomplete and biased supervision for target relations, leading to degraded and unstable performance. To accurately and explicitly describe relation semantics while minimizing annotation demands, we explore the definition only zero-shot RE setting where only relation definitions expressed in natural language are used to train a RE model. We introduce REPaL, comprising three stages: (1) We leverage large language models (LLMs) to generate initial seed instances from relation definitions and an unlabeled corpus. (2) We fine-tune a bidirectional Small Language Model (SLM) with initial seeds to learn relations for the target domain. (3) We expand pattern coverage and mitigate bias from initial seeds by integrating feedback from the SLM's predictions on the unlabeled corpus and the synthesis history. To accomplish this, we leverage the multi-turn conversation ability of LLMs to generate new instances in follow-up dialogues, informed by both the feedback and synthesis history. Studies reveal that definition-oriented seed synthesis enhances pattern coverage whereas indiscriminately increasing seed quantity leads to performance saturation. Experiments on two datasets show REPaL significantly improved cost-effective zero-shot performance by large margins.
• Abstract（参考訳）: 関係抽出(RE)は、テキスト内のエンティティ間の意味的関係を識別することを目的としている。 かなり進歩したにもかかわらず、既存のモデルでは大量の注釈付きトレーニングデータを必要としており、収集には費用がかかり、労力がかかる。 さらに、これらのモデルは、しばしば新しい、または目に見えない関係に適応するのに苦労する。 アノテーションの要求を減らすことを目的とした、ほとんどショットの学習は、典型的には、ターゲット関係に対する不完全で偏見のある監視を提供し、劣化し不安定なパフォーマンスをもたらす。 アノテーション要求を最小化しながら関係意味論を正確かつ明示的に記述するために、自然言語で表現された関係定義のみを使用してREモデルを訓練するゼロショットRE設定について検討する。 1)大言語モデル(LLM)を利用して,関係定義とラベルなしコーパスから初期シードインスタンスを生成する。 2) 2方向小言語モデル(SLM)を初期シードで微調整し,対象領域との関係を学習する。 (3)未ラベルコーパスに対するSLMの予測と合成履歴からのフィードバックを統合することで,初期種子からのパターンカバレッジを拡大し,偏見を緩和する。 これを実現するために,LLMのマルチターン会話機能を活用し,フィードバックと合成履歴の両方から情報を得たフォローアップ対話における新しいインスタンスを生成する。 定義指向種子合成は, 種子量の無差別増加は, 性能飽和につながるが, パターン被覆を促進させる。 2つのデータセットの実験では、REPaLはコスト効率の良いゼロショット性能を大きなマージンで大幅に改善した。

関連論文リスト

• Relation Extraction with Fine-Tuned Large Language Models in Retrieval Augmented Generation Frameworks [0.0]
  関係抽出(RE)は、構造化されていないデータを知識グラフ(KG)のような構造化形式に変換するために重要である プレトレーニング言語モデル(PLM)を活用した最近の研究は、この分野で大きな成功を収めている。 本研究では、微調整LDMの性能と、Retrieval Augmented-based (RAG) REアプローチへの統合について検討する。
  論文  参考訳（メタデータ） (2024-06-20T21:27:57Z)
• Factual Dialogue Summarization via Learning from Large Language Models [35.63037083806503]
  大規模言語モデル(LLM)に基づく自動テキスト要約モデルは、より現実的に一貫した要約を生成する。 ゼロショット学習を用いて、LLMから記号的知識を抽出し、事実整合性(正)および矛盾性(負)の要約を生成する。 各種自動評価指標で確認したように,コヒーレンス,フラレンシ,関連性を保ちながら,より優れた事実整合性を実現する。
  論文  参考訳（メタデータ） (2024-06-20T20:03:37Z)
• Learning from Semi-Factuals: A Debiased and Semantic-Aware Framework for Generalized Relation Discovery [12.716874398564482]
  Generalized Relation Discovery (GRD) は、既存の事前定義された関係にある未ラベルのインスタンスを特定したり、新しい関係を発見することを目的としている。 本稿では,2段階の半実物から学習することで,この課題に対する新しいフレームワーク,SFGRDを提案する。 SFGRDの精度は2.36%$sim$5.78%、コサイン類似度は32.19%$sim$84.45%である。
  論文  参考訳（メタデータ） (2024-01-12T02:38:55Z)
• Exploiting Contextual Target Attributes for Target Sentiment Classification [53.30511968323911]
  TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。 我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
  論文  参考訳（メタデータ） (2023-12-21T11:45:28Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Improving Distantly Supervised Relation Extraction by Natural Language Inference [9.181270251524866]
  本稿では,既存の知識ベースから遠ざかる監視と,事前学習した言語モデルから他のタスクへ間接的に監督するDSRE-NLIフレームワークを提案する。 DSRE-NLIは、半自動的関係言語化(SARV)機構により、市販の自然言語推論(NLI)エンジンをエネルギ化し、間接的な監視を提供する。 2つのシンプルで効果的なデータ統合戦略により、トレーニングデータの質が大幅に向上する。
  論文  参考訳（メタデータ） (2022-07-31T02:48:34Z)
• RelationPrompt: Leveraging Prompts to Generate Synthetic Data for Zero-Shot Relation Triplet Extraction [65.4337085607711]
  ゼロショット関係トリプルト抽出(ZeroRTE)のタスク設定について紹介する。 入力文が与えられた後、抽出された各三重項は、トレーニング段階で関係ラベルが見えないヘッドエンティティ、リレーションラベル、テールエンティティから構成される。 本稿では、言語モデルに構造化テキストを生成するよう促すことで、関係例を合成する。
  論文  参考訳（メタデータ） (2022-03-17T05:55:14Z)
• Automatically Generating Counterfactuals for Relation Exaction [18.740447044960796]
  関係抽出(RE)は自然言語処理の基本課題である。 現在のディープニューラルモデルは高い精度を達成しているが、スプリアス相関の影響を受けやすい。 我々は、エンティティの文脈的反事実を導出するための新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2022-02-22T04:46:10Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction [84.64435075778988]
  本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。 我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。 私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
  論文  参考訳（メタデータ） (2020-11-27T06:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。