論文の概要: CodeIE: Large Code Generation Models are Better Few-Shot Information Extractors

• arxiv url: http://arxiv.org/abs/2305.05711v2
• Date: Thu, 11 May 2023 01:27:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 11:11:57.665161
• Title: CodeIE: Large Code Generation Models are Better Few-Shot Information Extractors
• Title（参考訳）: CodeIE: 大規模なコード生成モデルは、Few-Shot情報エクストラクタより優れている
• Authors: Peng Li, Tianxiang Sun, Qiong Tang, Hang Yan, Yuanbin Wu, Xuanjing Huang, Xipeng Qiu
• Abstract要約: 大規模コーパスで事前訓練された大規模言語モデル(LLM)は、多くのNLPタスクにおいて、驚くべき数ショットの学習能力を示している。 本稿では、自然言語の代わりに構造化された出力をコード形式で再キャストすることを提案する。
• 参考スコア（独自算出の注目度）: 92.17328076003628
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) pre-trained on massive corpora have demonstrated impressive few-shot learning ability on many NLP tasks. A common practice is to recast the task into a text-to-text format such that generative LLMs of natural language (NL-LLMs) like GPT-3 can be prompted to solve it. However, it is nontrivial to perform information extraction (IE) tasks with NL-LLMs since the output of the IE task is usually structured and therefore is hard to be converted into plain text. In this paper, we propose to recast the structured output in the form of code instead of natural language and utilize generative LLMs of code (Code-LLMs) such as Codex to perform IE tasks, in particular, named entity recognition and relation extraction. In contrast to NL-LLMs, we show that Code-LLMs can be well-aligned with these IE tasks by designing code-style prompts and formulating these IE tasks as code generation tasks. Experiment results on seven benchmarks show that our method consistently outperforms fine-tuning moderate-size pre-trained models specially designed for IE tasks (e.g., UIE) and prompting NL-LLMs under few-shot settings. We further conduct a series of in-depth analyses to demonstrate the merits of leveraging Code-LLMs for IE tasks.
• Abstract（参考訳）: 大規模コーパスで事前学習された大規模言語モデル(llm)は多くのnlpタスクで印象的な少数ショット学習能力を示している。 一般的には、GPT-3のような自然言語(NL-LLM)の生成LLMを誘導するように、タスクをテキストからテキストにリキャストする。 しかし、通常、IEタスクの出力が構造化されており、プレーンテキストに変換することが難しいため、NL-LLMで情報抽出(IE)タスクを実行するのは簡単ではない。 本稿では、構造化された出力を自然言語の代わりにコード形式で再キャストし、コーデックスのようなコード(コード-LLM)の生成LCMを用いてIEタスク、特に名前付きエンティティ認識と関係抽出を行う。 NL-LLMとは対照的に、コードスタイルのプロンプトを設計し、これらのIEタスクをコード生成タスクとして定式化することにより、コード-LLMがこれらのIEタスクと整合可能であることを示す。 7つのベンチマークによる実験結果から,IEタスク(UIEなど)に特化して設計された微調整型事前学習モデルと,数ショット設定でのNL-LLMの高速化が得られた。 さらに,IE タスクに Code-LLM を活用するメリットを示すために,一連の詳細な分析を行う。

関連論文リスト

• ADELIE: Aligning Large Language Models on Information Extraction [55.60192044049083]
  大規模言語モデル(LLM)は通常、情報抽出タスクで不足する。 本稿では,様々なIEタスクを効果的に解決する協調LLMであるADELIEを紹介する。 本稿では,オープンソースモデル間でのSoTA(State-of-the-art)性能について述べる。
  論文  参考訳（メタデータ） (2024-05-08T12:24:52Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• Large Language Models for Generative Information Extraction: A Survey [89.71273968283616]
  大規模言語モデル(LLM)は、テキスト理解と生成において顕著な能力を示した。 各種IEサブタスクと技術の観点から,これらの作品を分類して概観する。 我々は,最も先進的な手法を実証的に分析し,LLMによるIEタスクの出現傾向を明らかにする。
  論文  参考訳（メタデータ） (2023-12-29T14:25:22Z)
• Exploring Large Language Models for Code Explanation [3.2570216147409514]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げている。 本研究では,様々なLLMを用いて,コードスニペットの自然言語要約を生成するタスクについて検討する。
  論文  参考訳（メタデータ） (2023-10-25T14:38:40Z)
• Benchmarking Large Language Models with Augmented Instructions for Fine-grained Information Extraction [46.09887436555637]
  本稿では,Large Language Models (LLMs) に適した微細なIEベンチマークデータセットを提案する。 本研究では,エンコーダ・デコーダモデル,特にT5およびFLAN-T5の広範な評価により,未知の情報型への一般化が期待できる。
  論文  参考訳（メタデータ） (2023-10-08T09:41:18Z)
• Universal Information Extraction with Meta-Pretrained Self-Retrieval [39.69130086395689]
  ユニバーサル情報抽出(Universal IE)は、テキストから構造までの一様生成方法で異なる抽出タスクを解くことを目的としている。 外部知識ベースから知識を取得することは、モデルがこの問題を克服するのに役立つかもしれないが、様々なIEタスクに適した知識ベースを構築することは不可能である。 本稿では,PLMからタスク固有の知識を抽出し,汎用IEを強化するメタレトリバーを提案する。
  論文  参考訳（メタデータ） (2023-06-18T00:16:00Z)
• ChatIE: Zero-Shot Information Extraction via Chatting with ChatGPT [89.49161588240061]
  ゼロショット情報抽出(IE)は、注釈のないテキストからIEシステムを構築することを目的としている。 大規模言語モデル(LLMs、GPT-3、ChatGPT)に対する最近の取り組みは、ゼロショット設定での有望なパフォーマンスを示している。 ゼロショットIEタスクを2段階フレームワーク(ChatIE)でマルチターン質問応答問題に変換する。
  論文  参考訳（メタデータ） (2023-02-20T12:57:12Z)
• Language Models of Code are Few-Shot Commonsense Learners [106.1531522893209]
  自然言語入力が与えられた場合、目標はイベントや推論グラフなどのグラフを生成することだ。 既存のアプローチは、出力グラフをノードとエッジのフラットリストとしてシリアライズする。 コード生成タスクとして構造化コモンセンス推論タスクをフレーム化する場合、事前学習されたコードLMは自然言語のLMよりも構造化コモンセンス推論タスクの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-13T16:09:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。