論文の概要: KnowCoder: Coding Structured Knowledge into LLMs for Universal Information Extraction
- arxiv url: http://arxiv.org/abs/2403.07969v2
- Date: Thu, 14 Mar 2024 02:47:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-16 01:01:27.398657
- Title: KnowCoder: Coding Structured Knowledge into LLMs for Universal Information Extraction
- Title（参考訳）: KnowCoder: ユニバーサル情報抽出のための構造化知識をLLMに符号化する
- Authors: Zixuan Li, Yutao Zeng, Yuxin Zuo, Weicheng Ren, Wenxuan Liu, Miao Su, Yucan Guo, Yantao Liu, Xiang Li, Zhilei Hu, Long Bai, Wei Li, Yidan Liu, Pan Yang, Xiaolong Jin, Jiafeng Guo, Xueqi Cheng,
- Abstract要約: コード生成によるユニバーサル情報抽出(UIE)を行うためのLarge Language Model(LLM)であるKnowCoderを提案する。
KnowCoderは、異なるスキーマをPythonクラスに一様に変換するコードスタイルのスキーマ表現メソッドを導入した。
KnowCoderには、2フェーズの学習フレームワークがあり、コード事前トレーニングによるスキーマ理解能力と、命令チューニングによるスキーマ追従能力を向上させる。
- 参考スコア（独自算出の注目度）: 59.039355258637315
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose KnowCoder, a Large Language Model (LLM) to conduct Universal Information Extraction (UIE) via code generation. KnowCoder aims to develop a kind of unified schema representation that LLMs can easily understand and an effective learning framework that encourages LLMs to follow schemas and extract structured knowledge accurately. To achieve these, KnowCoder introduces a code-style schema representation method to uniformly transform different schemas into Python classes, with which complex schema information, such as constraints among tasks in UIE, can be captured in an LLM-friendly manner. We further construct a code-style schema library covering over $\textbf{30,000}$ types of knowledge, which is the largest one for UIE, to the best of our knowledge. To ease the learning process of LLMs, KnowCoder contains a two-phase learning framework that enhances its schema understanding ability via code pretraining and its schema following ability via instruction tuning. After code pretraining on around $1.5$B automatically constructed data, KnowCoder already attains remarkable generalization ability and achieves relative improvements by $\textbf{49.8%}$ F1, compared to LLaMA2, under the few-shot setting. After instruction tuning, KnowCoder further exhibits strong generalization ability on unseen schemas and achieves up to $\textbf{12.5%}$ and $\textbf{21.9%}$, compared to sota baselines, under the zero-shot setting and the low resource setting, respectively. Additionally, based on our unified schema representations, various human-annotated datasets can simultaneously be utilized to refine KnowCoder, which achieves significant improvements up to $\textbf{7.5%}$ under the supervised setting.
- Abstract（参考訳）: 本稿では,Large Language Model (LLM) を用いて,コード生成によるユニバーサル情報抽出(UIE)を行う。
KnowCoderは、LLMが容易に理解できるような統合スキーマ表現や、LLMにスキーマに従うことを奨励し、構造化知識を正確に抽出する効果的な学習フレームワークを開発することを目的としている。
これを実現するために、KnowCoderは、異なるスキーマをPythonクラスに一様に変換するコードスタイルのスキーマ表現手法を導入し、UIEのタスク間の制約のような複雑なスキーマ情報をLLMフレンドリーな方法でキャプチャできる。
さらに私たちは、UIEにとって最大の知識である$\textbf{30,000}$の知識を網羅するコードスタイルのスキーマライブラリを構築しています。
LLMの学習プロセスを容易にするために、KnowCoderは、コード事前学習によるスキーマ理解能力と、命令チューニングによるスキーマ追従能力を向上させる2段階の学習フレームワークを含んでいる。
1.5ドル前後で事前トレーニングを行った後、KnowCoderはすでに優れた一般化能力を獲得し、数ショット設定でLLaMA2と比較して$\textbf{49.8%}$ F1で相対的に改善されている。
命令チューニングの後、KnowCoderはさらに、目に見えないスキーマに対して強力な一般化能力を示し、ゼロショット設定と低いリソース設定の下で、それぞれソータベースラインと比較して、$\textbf{12.5%}$と$\textbf{21.9%}$を達成する。
さらに、我々の統合スキーマ表現に基づいて、さまざまな人間アノテーション付きデータセットを同時に使用してKnowCoderを洗練させ、教師付き設定の下で$\textbf{7.5%}$まで大幅に改善する。
関連論文リスト
- OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。
オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。
トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
論文 参考訳（メタデータ） (2024-11-07T17:47:25Z) - Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。
結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
論文 参考訳（メタデータ） (2024-11-06T10:28:46Z) - Comprehending Knowledge Graphs with Large Language Models for Recommender Systems [13.270018897057293]
本稿では,知識認識のための大規模言語モデルを活用したCoLaKGという新しい手法を提案する。
まず、KG から各項目を中心とする部分グラフを抽出し、それらを LLM のテキスト入力に変換する。
LLMはこれらの項目中心のサブグラフの理解を出力し、その後セマンティック埋め込みに変換する。
論文 参考訳（メタデータ） (2024-10-16T04:44:34Z) - AlchemistCoder: Harmonizing and Eliciting Code Capability by Hindsight Tuning on Multi-source Data [64.69872638349922]
本稿では、マルチソースデータに微調整されたコード生成と一般化機能を備えたコードLLMのシリーズであるAlchemistCoderを紹介する。
本稿では,データ構築過程を微調整データに組み込んで,命令の進化,データフィルタリング,コードレビューなどのコード理解タスクを提案する。
論文 参考訳（メタデータ） (2024-05-29T16:57:33Z) - CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。
まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。
また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
論文 参考訳（メタデータ） (2024-04-08T21:15:36Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳（メタデータ） (2024-01-01T16:51:20Z) - Context-Aware Prompt Tuning for Vision-Language Model with
Dual-Alignment [15.180715595425864]
我々は、事前学習された大言語モデル(LLM)を組み込むことで、視覚言語モデルの迅速な学習を改善する新しい手法を提案する。
DuAl-PTでは、明示的および暗黙的両方のコンテキストモデリングの恩恵を受けながら、よりコンテキスト対応のプロンプトを学習することを提案する。
実証的には、DuAl-PTは、数ショットの認識とベース・ツー・ニューな一般化で、11のダウンストリームデータセット上で優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2023-09-08T06:51:15Z) - Language Models Enable Simple Systems for Generating Structured Views of
Heterogeneous Data Lakes [15.214583657626697]
EVAPORATEは大規模言語モデル(LLM)を利用したプロトタイプシステムである。
コード合成は安価だが、各文書をLSMで直接処理するよりもはるかに正確ではない。
直接抽出よりも優れた品質を実現する拡張コード実装EVAPORATE-CODE+を提案する。
論文 参考訳（メタデータ） (2023-04-19T06:00:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。