論文の概要: Benchmarking Large Language Models with Augmented Instructions for Fine-grained Information Extraction

• arxiv url: http://arxiv.org/abs/2310.05092v1
• Date: Sun, 8 Oct 2023 09:41:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 12:33:01.488310
• Title: Benchmarking Large Language Models with Augmented Instructions for Fine-grained Information Extraction
• Title（参考訳）: きめ細かい情報抽出のための拡張命令付き大規模言語モデルのベンチマーク
• Authors: Jun Gao, Huan Zhao, Yice Zhang, Wei Wang, Changlong Yu, Ruifeng Xu
• Abstract要約: 本稿では,Large Language Models (LLMs) に適した微細なIEベンチマークデータセットを提案する。 本研究では,エンコーダ・デコーダモデル,特にT5およびFLAN-T5の広範な評価により,未知の情報型への一般化が期待できる。
• 参考スコア（独自算出の注目度）: 46.09887436555637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Information Extraction (IE) is an essential task in Natural Language Processing. Traditional methods have relied on coarse-grained extraction with simple instructions. However, with the emergence of Large Language Models (LLMs), there is a need to adapt IE techniques to leverage the capabilities of these models. This paper introduces a fine-grained IE benchmark dataset tailored for LLMs, employing augmented instructions for each information type, which includes task descriptions, extraction rules, output formats, and examples. Through extensive evaluations, we observe that encoder-decoder models, particularly T5 and FLAN-T5, perform well in generalizing to unseen information types, while ChatGPT exhibits greater adaptability to new task forms. Our results also indicate that performance is not solely dictated by model scale, and highlight the significance of architecture, data diversity, and learning techniques. This work paves the way for a more refined and versatile utilization of LLMs in Information Extraction.
• Abstract（参考訳）: 自然言語処理において,情報抽出(IE)は重要な課題である。 従来の方法は粗粒抽出と単純な指示に頼ってきた。 しかし、大規模言語モデル(llms)の出現に伴い、これらのモデルの能力を活用するためにie技術を適用する必要がある。 本稿では, タスク記述, 抽出規則, 出力形式, 例を含む, 情報型毎に拡張命令を付加した, LLMに適したIEベンチマークデータセットを提案する。 特にT5とFLAN-T5のエンコーダデコーダモデルでは,未確認情報型への一般化が良好であるのに対し,ChatGPTではタスク形式への適応性が向上している。 また,性能はモデルスケールのみによって決定されるのではなく,アーキテクチャ,データ多様性,学習技術の重要性を強調する。 この研究は、情報抽出におけるLLMのより洗練された多用途利用の道を開くものである。

関連論文リスト

• Exploring Large Language Models for Product Attribute Value Identification [25.890927969633196]
  製品属性値識別(PAVI)は、製品情報から属性とその値を自動的に識別する。 既存の手法は、BARTやT5のような微調整済みの言語モデルに依存している。 本稿では, LLaMA や Mistral などの大規模言語モデル (LLM) をデータ効率・ロバストなPAVI 代替品として検討する。
  論文  参考訳（メタデータ） (2024-09-19T12:09:33Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• GLiNER multi-task: Generalist Lightweight Model for Various Information Extraction Tasks [0.0]
  我々は,小さなエンコーダモデルであると同時に,様々な情報抽出タスクに使用できる新しい種類のGLiNERモデルを導入する。 我々のモデルは,ゼロショットNERベンチマークにおけるSoTA性能を達成し,質問応答,要約,関係抽出タスクにおける主要な性能を実現した。
  論文  参考訳（メタデータ） (2024-06-14T13:54:29Z)
• Leveraging Large Language Models for Web Scraping [0.0]
  本研究では,言語生成用に設計したRAGモデルに対して,汎用的な高精度なデータスクレイピング手法について検討する。 よりモジュール的で解釈可能な方法で知識をキャプチャするために、私たちは、潜在的な知識検索機能を備えた事前訓練された言語モデルを使用します。
  論文  参考訳（メタデータ） (2024-06-12T14:15:15Z)
• Large Language Models for Data Annotation: A Survey [49.8318827245266]
  LLM(Advanced Large Language Models)の出現は、データアノテーションの複雑なプロセスを自動化する前例のない機会を提供する。 この調査には、LLMが注釈付けできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションにLLMを使用する際の主な課題と制限に関する詳細な議論が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• GIELLM: Japanese General Information Extraction Large Language Model Utilizing Mutual Reinforcement Effect [0.0]
  汎用情報抽出大言語モデル(GIELLM)について紹介する。 テキスト分類、感性分析、名前付きエンティティ認識、関係抽出、および一様入力出力スキーマを使用したイベント抽出を統合している。 このイノベーションは、このような多様なIEサブタスクを同時に扱うモデルの最初の例である。
  論文  参考訳（メタデータ） (2023-11-12T13:30:38Z)
• Instruct and Extract: Instruction Tuning for On-Demand Information Extraction [86.29491354355356]
  On-Demand Information extractは、現実世界のユーザのパーソナライズされた要求を満たすことを目的としている。 InstructIEというベンチマークを、自動生成したトレーニングデータと、人手による注釈付きテストセットの両方を含む形で提示する。 InstructIE 上に構築した On-Demand Information Extractor, ODIE をさらに発展させる。
  論文  参考訳（メタデータ） (2023-10-24T17:54:25Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。