論文の概要: MetaIE: Distilling a Meta Model from LLM for All Kinds of Information Extraction Tasks

• arxiv url: http://arxiv.org/abs/2404.00457v1
• Date: Sat, 30 Mar 2024 19:43:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 03:40:06.031412
• Title: MetaIE: Distilling a Meta Model from LLM for All Kinds of Information Extraction Tasks
• Title（参考訳）: MetaIE: 情報抽出作業におけるLCMからのメタモデル抽出
• Authors: Letian Peng, Zilong Wang, Feng Yao, Zihan Wang, Jingbo Shang,
• Abstract要約: 我々は「重要な情報」を抽出することを学ぶことで、メタモデルとして小さなLMを構築するための新しいフレームワークであるMetaIEを提案する。 特にMetaIEはラベル・ツー・スパン方式に従ってLDMからシンボル蒸留により小型のLMを得る。 本研究では,言語モデルの事前学習データセットから文を抽出し,蒸留データセットを構築する。 数ショットの適応設定でメタモデルを評価する。
• 参考スコア（独自算出の注目度）: 40.84745946091173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information extraction (IE) is a fundamental area in natural language processing where prompting large language models (LLMs), even with in-context examples, cannot defeat small LMs tuned on very small IE datasets. We observe that IE tasks, such as named entity recognition and relation extraction, all focus on extracting important information, which can be formalized as a label-to-span matching. In this paper, we propose a novel framework MetaIE to build a small LM as meta-model by learning to extract "important information", i.e., the meta-understanding of IE, so that this meta-model can be adapted to all kind of IE tasks effectively and efficiently. Specifically, MetaIE obtains the small LM via a symbolic distillation from an LLM following the label-to-span scheme. We construct the distillation dataset via sampling sentences from language model pre-training datasets (e.g., OpenWebText in our implementation) and prompting an LLM to identify the typed spans of "important information". We evaluate the meta-model under the few-shot adaptation setting. Extensive results on 13 datasets from 6 IE tasks confirm that MetaIE can offer a better starting point for few-shot tuning on IE datasets and outperform other meta-models from (1) vanilla language model pre-training, (2) multi-IE-task pre-training with human annotations, and (3) single-IE-task symbolic distillation from LLM. Moreover, we provide comprehensive analyses of MetaIE, such as the size of the distillation dataset, the meta-model architecture, and the size of the meta-model.
• Abstract（参考訳）: 情報抽出(IE)は、大規模言語モデル(LLM)を促進する自然言語処理の基本的な領域であり、文脈内例であっても、非常に小さなIEデータセットで調整された小さなLMを破ることはできない。 我々は、名前付きエンティティ認識や関係抽出といったIEタスクが、ラベルとスパンのマッチングとして形式化できる重要な情報を抽出することに焦点を当てていることを観察する。 本稿では, メタモデルとして小さなLMをメタモデルとして構築するための新しいフレームワークであるMetaIEを提案する。 特にMetaIEはラベル・ツー・スパン方式に従ってLDMからシンボル蒸留により小型のLMを得る。 我々は,言語モデルの事前学習データセット(例えば,実装中のOpenWebText)から文を抽出し,LLMに「重要な情報」の型付きスパンを識別するよう促すことにより,蒸留データセットを構築した。 数ショットの適応設定でメタモデルを評価する。 6つのIEタスクから得られた13のデータセットの大規模な結果から、MetaIEはIEデータセットの複数ショットチューニングの出発点となり、(1)バニラ言語モデルの事前トレーニング、(2)人間のアノテーションによるマルチIEタスク事前トレーニング、(3)LLMからの単一IEタスクシンボル蒸留よりも優れたメタモデルが得られることが確認された。 さらに, 蒸留データセットのサイズ, メタモデルアーキテクチャ, メタモデルのサイズなど, MetaIE の包括的分析を行う。

関連論文リスト

• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• Privacy Challenges in Meta-Learning: An Investigation on Model-Agnostic Meta-Learning [2.8948274245812327]
  現在のメタラーニング手法では、タスク学習者は、サポートセットと呼ばれるセンシティブなデータからモデルをローカルに学習する。 明示的なデータ共有がないにもかかわらず、プライバシーの懸念は続いている。 本稿では,メタラーニングアルゴリズム,特にモデル非依存メタラーニング(MAML)における潜在的なデータ漏洩について検討する。
  論文  参考訳（メタデータ） (2024-06-01T01:10:35Z)
• MAML-en-LLM: Model Agnostic Meta-Training of LLMs for Improved In-Context Learning [43.512739869120125]
  大規模言語モデル(LLM)のメタトレーニング手法であるMAML-en-LLMを提案する。 MAML-en-LLMは、解離したタスクでうまく機能するだけでなく、目に見えないタスクに適応する真の一般化可能なパラメータを学習することができる。 我々は、MAML-en-LLMが、目に見えないドメインと見えないドメインのトレーニングデータが少ない設定において、ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-19T04:49:42Z)
• ADELIE: Aligning Large Language Models on Information Extraction [55.60192044049083]
  大規模言語モデル(LLM)は通常、情報抽出タスクで不足する。 本稿では,様々なIEタスクを効果的に解決する協調LLMであるADELIEを紹介する。 本稿では,オープンソースモデル間でのSoTA(State-of-the-art)性能について述べる。
  論文  参考訳（メタデータ） (2024-05-08T12:24:52Z)
• Benchmarking Large Language Models with Augmented Instructions for Fine-grained Information Extraction [46.09887436555637]
  本稿では,Large Language Models (LLMs) に適した微細なIEベンチマークデータセットを提案する。 本研究では,エンコーダ・デコーダモデル,特にT5およびFLAN-T5の広範な評価により,未知の情報型への一般化が期待できる。
  論文  参考訳（メタデータ） (2023-10-08T09:41:18Z)
• Universal Information Extraction with Meta-Pretrained Self-Retrieval [39.69130086395689]
  ユニバーサル情報抽出(Universal IE)は、テキストから構造までの一様生成方法で異なる抽出タスクを解くことを目的としている。 外部知識ベースから知識を取得することは、モデルがこの問題を克服するのに役立つかもしれないが、様々なIEタスクに適した知識ベースを構築することは不可能である。 本稿では,PLMからタスク固有の知識を抽出し,汎用IEを強化するメタレトリバーを提案する。
  論文  参考訳（メタデータ） (2023-06-18T00:16:00Z)
• Learning to Learn from APIs: Black-Box Data-Free Meta-Learning [95.41441357931397]
  データフリーなメタラーニング(DFML)は、トレーニングデータにアクセスせずに事前訓練されたモデルの集合からメタラーニングすることで、新しいタスクの効率的な学習を可能にすることを目的としている。 既存のDFMLの作業は、(i)ホワイトボックスと(ii)小規模事前訓練モデルからしかメタ学習できない。 ブラックボックスAPIの集合から単一のモデルへ,より一般的なメタ知識を伝達するための,バイレベルデータフリーなメタ知識蒸留(BiDf-MKD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-28T18:00:12Z)
• MetaICL: Learning to Learn In Context [87.23056864536613]
  そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-10-29T17:42:08Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。