論文の概要: CodeKGC: Code Language Model for Generative Knowledge Graph Construction

• arxiv url: http://arxiv.org/abs/2304.09048v2
• Date: Thu, 18 Jan 2024 16:14:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 20:41:50.431024
• Title: CodeKGC: Code Language Model for Generative Knowledge Graph Construction
• Title（参考訳）: CodeKGC: 生成知識グラフ構築のためのコード言語モデル
• Authors: Zhen Bi, Jing Chen, Yinuo Jiang, Feiyu Xiong, Wei Guo, Huajun Chen, Ningyu Zhang
• Abstract要約: コードのような構造化データに基づいて訓練された大規模な生成言語モデルは、構造予測や推論タスクのために自然言語を理解する素晴らしい能力を示してきた。 知識グラフ内の意味構造を効果的に活用するスキーマ対応プロンプトを開発した。 実験結果から,提案手法はベースラインと比較してベンチマークデータセットの性能が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 46.220237225553234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current generative knowledge graph construction approaches usually fail to capture structural knowledge by simply flattening natural language into serialized texts or a specification language. However, large generative language model trained on structured data such as code has demonstrated impressive capability in understanding natural language for structural prediction and reasoning tasks. Intuitively, we address the task of generative knowledge graph construction with code language model: given a code-format natural language input, the target is to generate triples which can be represented as code completion tasks. Specifically, we develop schema-aware prompts that effectively utilize the semantic structure within the knowledge graph. As code inherently possesses structure, such as class and function definitions, it serves as a useful model for prior semantic structural knowledge. Furthermore, we employ a rationale-enhanced generation method to boost the performance. Rationales provide intermediate steps, thereby improving knowledge extraction abilities. Experimental results indicate that the proposed approach can obtain better performance on benchmark datasets compared with baselines. Code and datasets are available in https://github.com/zjunlp/DeepKE/tree/main/example/llm.
• Abstract（参考訳）: 現在の生成的知識グラフ構築アプローチは、自然言語をシリアライズされたテキストや仕様言語に平らにすることで、構造的知識を捉えるのに失敗する。 しかし、コードのような構造化データに基づいてトレーニングされた大きな生成言語モデルは、構造的予測や推論タスクのための自然言語を理解する素晴らしい能力を示している。 直感的には、コード言語モデルによる生成的知識グラフ構築のタスクに対処する: コード形式自然言語入力が与えられたとき、目標は、コード補完タスクとして表現できるトリプルを生成することである。 具体的には,知識グラフ内の意味構造を効果的に活用するスキーマ認識プロンプトを開発した。 コードは本質的にクラスや関数の定義のような構造を持っているため、以前の意味構造知識の有用なモデルとして機能する。 さらに,性能向上のために合理的な生成手法を用いる。 合理化は中間段階を提供し、知識抽出能力を向上させる。 実験結果から,提案手法はベースラインと比較してベンチマークデータセットの性能が向上することが示唆された。 コードとデータセットはhttps://github.com/zjunlp/DeepKE/tree/main/example/llmで入手できる。

関連論文リスト

• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• Entity Identifier: A Natural Text Parsing-based Framework For Entity Relation Extraction [0.0]
  自然言語処理技術を用いて,要求記述から構造化情報を抽出する。 このプロセスを容易にするために,エンティティと関係情報を抽出するパイプラインを導入する。 また、我々のアプローチの有効性を評価するデータセットも作成します。
  論文  参考訳（メタデータ） (2023-07-10T20:30:27Z)
• Knowledge Graph Guided Semantic Evaluation of Language Models For User Trust [7.063958622970576]
  本研究では、明示的な知識グラフ構造を利用して、自己注意変換器の符号化意味性を評価する。 言語モデルの不透明さは、信頼と説明可能な決定結果の社会的問題に大きく影響している。
  論文  参考訳（メタデータ） (2023-05-08T18:53:14Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• GraphCodeBERT: Pre-training Code Representations with Data Flow [97.00641522327699]
  本稿では,コード固有の構造を考慮したプログラミング言語の事前学習モデルであるGraphCodeBERTを提案する。 これは変数間の"where-the-value-comes-from"の関係をエンコードするコードのセマンティックレベルの構造です。 コード検索,クローン検出,コード翻訳,コード改良の4つのタスクにおいて,本モデルを評価する。
  論文  参考訳（メタデータ） (2020-09-17T15:25:56Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。