Fugu-MT 論文翻訳(概要): Retrieval-Augmented Code Generation for Universal Information Extraction

論文の概要: Retrieval-Augmented Code Generation for Universal Information Extraction

arxiv url: http://arxiv.org/abs/2311.02962v1
Date: Mon, 6 Nov 2023 09:03:21 GMT
ステータス: 処理完了
システム内更新日: 2023-11-07 15:01:50.126278
Title: Retrieval-Augmented Code Generation for Universal Information Extraction
Title（参考訳）: ユニバーサル情報抽出のための検索拡張コード生成
Authors: Yucan Guo, Zixuan Li, Xiaolong Jin, Yantao Liu, Yutao Zeng, Wenxuan Liu, Xiang Li, Pan Yang, Long Bai, Jiafeng Guo and Xueqi Cheng
Abstract要約: 情報抽出は、自然言語テキストから構造的知識を抽出することを目的としている。本稿では,Large Language Models(LLMs)に基づく汎用検索拡張コード生成フレームワークを提案する。 Code4UIEはPythonクラスを採用し、様々な構造的知識のタスク固有のスキーマを普遍的に定義する。
参考スコア（独自算出の注目度）: 66.68673051922497
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Information Extraction (IE) aims to extract structural knowledge (e.g., entities, relations, events) from natural language texts, which brings challenges to existing methods due to task-specific schemas and complex text expressions. Code, as a typical kind of formalized language, is capable of describing structural knowledge under various schemas in a universal way. On the other hand, Large Language Models (LLMs) trained on both codes and texts have demonstrated powerful capabilities of transforming texts into codes, which provides a feasible solution to IE tasks. Therefore, in this paper, we propose a universal retrieval-augmented code generation framework based on LLMs, called Code4UIE, for IE tasks. Specifically, Code4UIE adopts Python classes to define task-specific schemas of various structural knowledge in a universal way. By so doing, extracting knowledge under these schemas can be transformed into generating codes that instantiate the predefined Python classes with the information in texts. To generate these codes more precisely, Code4UIE adopts the in-context learning mechanism to instruct LLMs with examples. In order to obtain appropriate examples for different tasks, Code4UIE explores several example retrieval strategies, which can retrieve examples semantically similar to the given texts. Extensive experiments on five representative IE tasks across nine datasets demonstrate the effectiveness of the Code4UIE framework.
Abstract（参考訳）: 情報抽出(IE)は、自然言語のテキストから構造的知識(エンティティ、関係、イベント)を抽出することを目的としており、タスク固有のスキーマや複雑なテキスト表現によって既存の手法に課題をもたらす。コードは典型的な形式化された言語であり、様々なスキーマの下で構造的知識を普遍的に記述することができる。一方、コードとテキストの両方で訓練されたLarge Language Models (LLM) は、テキストをコードに変換する強力な能力を示しており、IEタスクに対して実現可能なソリューションを提供している。そこで本稿では,IEタスクのためのLLM(Code4UIE)に基づく汎用検索拡張コード生成フレームワークを提案する。具体的には、Code4UIEはPythonクラスを採用し、様々な構造的知識のタスク固有のスキーマを普遍的に定義する。これにより、これらのスキーマの下で知識を抽出することで、定義済みのPythonクラスをテキスト内の情報でインスタンス化するコードを生成することができる。これらのコードをより正確に生成するために、code4uieはllmにサンプルを指示するインコンテキスト学習メカニズムを採用している。異なるタスクの適切な例を得るために、Code4UIEは、与えられたテキストと意味的に類似した例を検索できるいくつかの例検索戦略を探索する。 9つのデータセットにまたがる5つのieタスクに関する広範な実験は、code4uieフレームワークの有効性を示している。

関連論文リスト

CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
論文参考訳（メタデータ） (2024-11-19T16:54:45Z)
Building A Coding Assistant via the Retrieval-Augmented Language Model [24.654428111628242]
本研究では,コーディング中の人間の知識探索行動を模倣してコードアシスタントを構築するための検索補助言語モデル(CONAN)を提案する。コード構造対応検索器(CONAN-R)とデュアルビューコード表現に基づく検索拡張生成モデル(CONAN-G)で構成される。
論文参考訳（メタデータ） (2024-10-21T17:34:39Z)
DocCGen: Document-based Controlled Code Generation [33.19206322891497]
DocCGenは、構造化コード言語のためのNL-to-Code生成タスクを2段階のプロセスに分解することで、豊富な知識を活用できるフレームワークである。実験の結果,DocCGenは6つの評価指標すべてで,言語モデルのサイズを常に改善していることがわかった。
論文参考訳（メタデータ） (2024-06-17T08:34:57Z)
Code-Mixed Probes Show How Pre-Trained Models Generalise On Code-Switched Text [1.9185059111021852]
事前学習された言語モデルが3次元のコードスイッチトテキストをどのように扱うかを検討する。その結果,事前学習した言語モデルは,コードスイッチトテキストへの一般化に有効であることが判明した。
論文参考訳（メタデータ） (2024-03-07T19:46:03Z)
Exploring Large Language Models for Code Explanation [3.2570216147409514]
大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げている。本研究では,様々なLLMを用いて,コードスニペットの自然言語要約を生成するタスクについて検討する。
論文参考訳（メタデータ） (2023-10-25T14:38:40Z)
CodeIE: Large Code Generation Models are Better Few-Shot Information Extractors [92.17328076003628]
大規模コーパスで事前訓練された大規模言語モデル(LLM)は、多くのNLPタスクにおいて、驚くべき数ショットの学習能力を示している。本稿では、自然言語の代わりに構造化された出力をコード形式で再キャストすることを提案する。
論文参考訳（メタデータ） (2023-05-09T18:40:31Z)
Unified Text Structuralization with Instruction-tuned Language Models [28.869098023025753]
テキストから様々な構造を抽出する大規模言語モデル(LLM)を提案する。実験により、様々な言語や知識のデータセット上で、言語モデルが他の最先端の手法と同等に動作できることが示されている。
論文参考訳（メタデータ） (2023-03-27T07:39:05Z)
Code4Struct: Code Generation for Few-Shot Event Structure Prediction [55.14363536066588]
我々は,構造化予測タスクに対処するために,テキストから構造への変換機能を活用するCode4Structを提案する。我々は、テキストをコードを使ってクラスオブジェクトとして表現できるイベント引数構造に変換するものとして、イベント引数抽出(EAE)を定式化する。 Code4Structは4,202インスタンスでトレーニングされた教師付きモデルに匹敵し、20ショットデータで29.5%の絶対F1でトレーニングされた現在のSOTA(State-of-the-art)を上回っている。
論文参考訳（メタデータ） (2022-10-23T18:18:51Z)
TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
論文参考訳（メタデータ） (2022-03-16T10:37:59Z)
Deep Graph Matching and Searching for Semantic Code Retrieval [76.51445515611469]
本稿では,グラフニューラルネットワークに基づくエンドツーエンドのディープグラフマッチングと探索モデルを提案する。まず、自然言語クエリテキストとプログラミング言語のコードスニペットをグラフ構造化データで表現する。特に、DGMSは、個々のクエリテキストやコードスニペットのより構造的な情報をキャプチャするだけでなく、それらの微妙な類似性も学習する。
論文参考訳（メタデータ） (2020-10-24T14:16:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。