論文の概要: Grasping the Essentials: Tailoring Large Language Models for Zero-Shot
Relation Extraction
- arxiv url: http://arxiv.org/abs/2402.11142v1
- Date: Sat, 17 Feb 2024 00:20:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 22:58:54.474669
- Title: Grasping the Essentials: Tailoring Large Language Models for Zero-Shot
Relation Extraction
- Title(参考訳): 本質の把握:ゼロショット関係抽出のための大規模言語モデルの調整
- Authors: Sizhe Zhou, Yu Meng, Bowen Jin, Jiawei Han
- Abstract要約: 関係抽出(RE)は、テキストで言及されたエンティティ間の意味的関係を識別することを目的としている。
標的関係のセマンティクスを理解するために、不完全で偏見のある監視を提供するような学習設定はほとんどない。
本稿では、自然言語で表現された関係定義のみを用いてREモデルを訓練するゼロショットRE設定について検討する。
- 参考スコア(独自算出の注目度): 36.627683488532234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Relation extraction (RE), a crucial task in NLP, aims to identify semantic
relationships between entities mentioned in texts. Despite significant
advancements in this field, existing models typically rely on extensive
annotated data for training, which can be both costly and time-consuming to
acquire. Moreover, these models often struggle to adapt to new or unseen
relationships. In contrast, few-shot learning settings, which aim to reduce
annotation requirements, may offer incomplete and biased supervision for
understanding target relation semantics, leading to degraded and unstable
performance. To provide the model with accurate and explicit descriptions of
the relations types and meanwhile minimize the annotation requirements, we
study the definition only zero-shot RE setting where only relation definitions
expressed in natural language are used to train a RE model. Motivated by the
strong synthetic data generation power of LLMs, we propose a framework REPaL
which consists of three stages: (1) We utilize LLMs to generate initial seed
instances based on relation definitions and an unlabeled corpora. (2) We
fine-tune a bidirectional Small Language Model (SLM) using these initial seeds
to learn the relations for the target domain. (3) We enhance pattern coverage
and mitigate bias resulting from the limited number of initial seeds by
incorporating feedback acquired from SLM's predictions on unlabeled corpora. To
accomplish this, we leverage the multi-turn conversation ability of LLMs to
generate new instances in follow-up dialogues. Experiments on two datasets show
REPaL achieves better zero-shot performance with large margins over baseline
methods.
- Abstract(参考訳): NLPにおける重要なタスクである関係抽出(RE)は、テキストに言及されたエンティティ間の意味的関係を特定することを目的としている。
この分野での大きな進歩にもかかわらず、既存のモデルは通常、トレーニングのための広範囲な注釈付きデータに依存している。
さらに、これらのモデルは、しばしば新しい、または見えない関係に適応するのに苦労する。
対照的に、アノテーションの要求を減らし、ターゲット関係のセマンティクスを理解するために、不完全で偏りのある監視を提供する少数ショットの学習設定は、劣化し不安定なパフォーマンスをもたらす。
関係型の正確かつ明示的な記述とアノテーション要件の最小化を目的として,自然言語で表現された関係定義のみを用いてREモデルを訓練するゼロショットRE設定について検討した。
本研究では, LLMの強力な合成データ生成能力に触発されたフレームワークREPaLを提案する。(1) LLMを用いて, 関係定義と未ラベルコーパスに基づく初期シードインスタンスを生成する。
2) 対象領域との関係を学習するために,これらの初期種を用いた双方向小言語モデル(SLM)を微調整する。
(3)SLMの未ラベルコーパスに対する予測から得られたフィードバックを取り入れることで,初期種子の限られた数から生じるパターンカバレッジとバイアスを軽減する。
これを実現するために、LLMのマルチターン会話機能を活用し、フォローアップ対話で新しいインスタンスを生成する。
2つのデータセットの実験では、REPaLはベースラインメソッドよりも大きなマージンでゼロショットのパフォーマンスが向上している。
関連論文リスト
- Exploiting Contextual Target Attributes for Target Sentiment
Classification [53.30511968323911]
TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。
我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
論文 参考訳(メタデータ) (2023-12-21T11:45:28Z) - Semi-automatic Data Enhancement for Document-Level Relation Extraction
with Distant Supervision from Large Language Models [26.523153535336725]
ドキュメントレベルの関係抽出(DocRE)は、長いコンテキストから関係を抽出することを目的としている。
本稿では,大規模言語モデル (LLM) と自然言語推論 (NLI) モジュールを統合する手法を提案する。
DocGNREと呼ばれる拡張データセットを導入することで,提案手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-11-13T13:10:44Z) - FLIP: Towards Fine-grained Alignment between ID-based Models and
Pretrained Language Models for CTR Prediction [51.64257638308695]
本稿では,クリックスルー率(CTR)予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
具体的には、1つのモダリティ(トークンや特徴)のマスキングされたデータは、他のモダリティの助けを借りて回復し、特徴レベルの相互作用とアライメントを確立する必要がある。
論文 参考訳(メタデータ) (2023-10-30T11:25:03Z) - Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。
近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。
本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
論文 参考訳(メタデータ) (2023-10-08T06:17:39Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z) - Continual Contrastive Finetuning Improves Low-Resource Relation
Extraction [34.76128090845668]
関係抽出は低リソースのシナリオやドメインでは特に困難である。
近年の文献は自己教師型学習によって低リソースREに取り組みつつある。
コントラスト学習の一貫した目的を用いたREモデルの事前学習と微調整を提案する。
論文 参考訳(メタデータ) (2022-12-21T07:30:22Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Improving Distantly Supervised Relation Extraction by Natural Language
Inference [9.181270251524866]
本稿では,既存の知識ベースから遠ざかる監視と,事前学習した言語モデルから他のタスクへ間接的に監督するDSRE-NLIフレームワークを提案する。
DSRE-NLIは、半自動的関係言語化(SARV)機構により、市販の自然言語推論(NLI)エンジンをエネルギ化し、間接的な監視を提供する。
2つのシンプルで効果的なデータ統合戦略により、トレーニングデータの質が大幅に向上する。
論文 参考訳(メタデータ) (2022-07-31T02:48:34Z) - Learning Contextual Representations for Semantic Parsing with
Generation-Augmented Pre-Training [86.91380874390778]
本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。
実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
論文 参考訳(メタデータ) (2020-12-18T15:53:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。