論文の概要: GoLLIE: Annotation Guidelines improve Zero-Shot Information-Extraction
- arxiv url: http://arxiv.org/abs/2310.03668v5
- Date: Wed, 6 Mar 2024 16:38:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 17:53:28.990532
- Title: GoLLIE: Annotation Guidelines improve Zero-Shot Information-Extraction
- Title(参考訳): GoLLIE: アノテーションガイドラインの改善によるゼロショット情報抽出
- Authors: Oscar Sainz, Iker Garc\'ia-Ferrero, Rodrigo Agerri, Oier Lopez de
Lacalle, German Rigau, Eneko Agirre
- Abstract要約: GLLIE(Guideline-following Large Language Model for IE)を提案する。
GoLLIEは、目に見えないガイドラインを一般化し、フォローすることができ、ゼロショット情報抽出の以前の試みよりも優れている。
- 参考スコア(独自算出の注目度): 25.028613319081696
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large Language Models (LLMs) combined with instruction tuning have made
significant progress when generalizing to unseen tasks. However, they have been
less successful in Information Extraction (IE), lagging behind task-specific
models. Typically, IE tasks are characterized by complex annotation guidelines
that describe the task and give examples to humans. Previous attempts to
leverage such information have failed, even with the largest models, as they
are not able to follow the guidelines out of the box. In this paper, we propose
GoLLIE (Guideline-following Large Language Model for IE), a model able to
improve zero-shot results on unseen IE tasks by virtue of being fine-tuned to
comply with annotation guidelines. Comprehensive evaluation empirically
demonstrates that GoLLIE is able to generalize to and follow unseen guidelines,
outperforming previous attempts at zero-shot information extraction. The
ablation study shows that detailed guidelines are key for good results.
- Abstract(参考訳): 大規模な言語モデル(llm)と命令チューニングが組み合わさって、未認識のタスクに一般化する際に大きな進歩を遂げた。
しかし、情報抽出(ie)では成功せず、タスク固有のモデルに遅れを取っている。
通常、IEタスクは、タスクを記述し、人間に例を示す複雑なガイドラインによって特徴づけられる。
このような情報を活用するためのこれまでの試みは,たとえ大規模なモデルであっても,最初からガイドラインに従うことができないため,失敗に終わっている。
本稿では,ガイドラインに準拠した微調整により,目に見えないIEタスクのゼロショット結果を改善することができるGoLLIE(Guideline-following Large Language Model for IE)を提案する。
包括的評価は、GoLLIEが目に見えないガイドラインを一般化し、フォローできることを実証的に示し、ゼロショット情報抽出における以前の試みよりも優れている。
アブレーション研究は、詳細なガイドラインが良い結果の鍵であることを示している。
関連論文リスト
- Instruct and Extract: Instruction Tuning for On-Demand Information
Extraction [86.29491354355356]
On-Demand Information extractは、現実世界のユーザのパーソナライズされた要求を満たすことを目的としている。
InstructIEというベンチマークを、自動生成したトレーニングデータと、人手による注釈付きテストセットの両方を含む形で提示する。
InstructIE 上に構築した On-Demand Information Extractor, ODIE をさらに発展させる。
論文 参考訳(メタデータ) (2023-10-24T17:54:25Z) - Benchmarking Large Language Models with Augmented Instructions for
Fine-grained Information Extraction [46.09887436555637]
本稿では,Large Language Models (LLMs) に適した微細なIEベンチマークデータセットを提案する。
本研究では,エンコーダ・デコーダモデル,特にT5およびFLAN-T5の広範な評価により,未知の情報型への一般化が期待できる。
論文 参考訳(メタデータ) (2023-10-08T09:41:18Z) - Guideline Learning for In-context Information Extraction [29.062173997909028]
インコンテキスト情報抽出(IE)は近年,研究コミュニティで注目を集めている。
この欠点の主な理由として,未特定なタスク記述を挙げる。
In-context IEのためのガイドライン学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-08T08:25:16Z) - TADIS: Steering Models for Deep-Thinking about Demonstration Examples [7.240651102553018]
大きな言語モデル(LLM)は、以前よりもはるかに高いパフォーマンスを達成する。
最近の研究によると、妄想的なタスクの例は正しいタスクの例とほとんど同じパフォーマンスを達成できる。
実演例を単に見るのではなく, LLM を "ディープシンキング (deep-Thinking)" として活用する TADIS と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-10-02T04:42:53Z) - STAR: Boosting Low-Resource Information Extraction by Structure-to-Text
Data Generation with Large Language Models [56.27786433792638]
STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。
我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。
実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2023-05-24T12:15:19Z) - Do Models Really Learn to Follow Instructions? An Empirical Study of
Instruction Tuning [37.01833561948585]
命令チューニング(IT)に関する最近の研究は、目に見えないタスクに対してゼロショットの一般化性で大きな成果を上げている。
我々は、モデルトレーニングと変更した命令と元の命令とを比較して、モデルがどのようにITのインストラクションを利用するかを分析する。
論文 参考訳(メタデータ) (2023-05-19T02:00:47Z) - CodeIE: Large Code Generation Models are Better Few-Shot Information
Extractors [92.17328076003628]
大規模コーパスで事前訓練された大規模言語モデル(LLM)は、多くのNLPタスクにおいて、驚くべき数ショットの学習能力を示している。
本稿では、自然言語の代わりに構造化された出力をコード形式で再キャストすることを提案する。
論文 参考訳(メタデータ) (2023-05-09T18:40:31Z) - Gradient Imitation Reinforcement Learning for General Low-Resource
Information Extraction [80.64518530825801]
本研究では,ラベル付きデータに対する勾配降下方向を模倣するために擬似ラベル付きデータを奨励するグラディエント強化学習法(GIRL)を開発した。
GIRLを利用して、低リソース設定ですべてのIEサブタスク(エンティティ認識、関係抽出、イベント抽出)を解決します。
論文 参考訳(メタデータ) (2022-11-11T05:37:19Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳(メタデータ) (2022-11-08T19:00:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。