論文の概要: Code4Struct: Code Generation for Few-Shot Structured Prediction from
Natural Language
- arxiv url: http://arxiv.org/abs/2210.12810v1
- Date: Sun, 23 Oct 2022 18:18:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 16:35:26.703761
- Title: Code4Struct: Code Generation for Few-Shot Structured Prediction from
Natural Language
- Title（参考訳）: Code4Struct:自然言語からのFew-Shot構造予測のためのコード生成
- Authors: Xingyao Wang, Sha Li, Heng Ji
- Abstract要約: 我々は,NLPにおける構造化予測タスクに対処するために,このようなテキストから構造への変換機能を活用するためのCode4Structを提案する。
例えば、イベント引数抽出(EAE)は、テキストをコードを使ってクラスオブジェクトとして表現できるイベント引数構造に変換することを目的としています。
Code4Structは4,202のイベントインスタンスでトレーニングされた完全教師付きモデルと同等であり、50ショットのデータが与えられた場合、現在のSOTA(State-of-the-art)を20.8%の絶対F1で上回っている。
- 参考スコア（独自算出の注目度）: 55.14363536066588
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Model (LLM) trained on the mixture of text and code has
demonstrated impressive capability in translating natural language (NL) into
structured code. In this work, we propose Code4Struct to leverage such
text-to-structure translation capability to tackle structured prediction tasks
in NLP. For example, Event Argument Extraction (EAE) aims to convert text into
event-argument structures that can be represented as a class object using code.
This alignment between structures and code enables us to take advantage of
Programming Language (PL) features such as inheritance and type annotation to
introduce external knowledge or add constraints with ease. We exploit the
analogy between PL and NLP problems, and, as a case study, we use Code4Struct
to tackle the EAE task using code generation. We ask a LLM to generate code to
instantiate an event class with predicted arguments given a NL sentence.
Despite only using 50 training instances for each event type, Code4Struct is
comparable to fully-supervised models trained on 4,202 event instances and,
when given the same 50-shot data, outperforms current state-of-the-art (SOTA)
by 20.8% absolute F1. When prompted with hierarchical event types implemented
using inheritance, Code4Struct can predict arguments for low-resource event
types using 10-shot training instances from its sibling event type and
outperforms zero-shot baseline by 12% absolute F1.
- Abstract（参考訳）: 大言語モデル(LLM)は、自然言語(NL)を構造化コードに翻訳する際、テキストとコードの混合に基づいて訓練された。
本稿では,このようなテキストから構造への翻訳機能を活用し,nlpの構造化予測タスクに取り組むためのcode4structを提案する。
例えば、イベント引数抽出(EAE)は、テキストをコードを使ってクラスオブジェクトとして表現できるイベント引数構造に変換することを目的としています。
この構造とコードのアライメントによって、継承や型アノテーションといったプログラミング言語(pl)の機能を活用して、外部の知識の導入や制約の追加が容易になります。
我々はpl問題とnlp問題の類似性を活用し,ケーススタディとして,コード生成を用いたeaeタスクに取り組むためにcode4structを用いた。
我々はLLMに、NL文が与えられた予測引数でイベントクラスをインスタンス化するためのコードを生成するよう依頼する。
イベントタイプ毎に50のトレーニングインスタンスを使用しているにも関わらず、code4structは4,202のイベントインスタンスでトレーニングされた完全な教師付きモデルに匹敵する。
継承を使って実装された階層型イベントタイプを起動すると、code4structは兄弟イベントタイプから10ショットトレーニングインスタンスを使用して低リソースイベントタイプの引数を予測でき、ゼロショットベースラインを12%絶対f1で上回る。
関連論文リスト
- StrucText-Eval: Evaluating Large Language Model's Reasoning Ability in Structure-Rich Text [29.03935605732864]
我々はStrucText-Evalという,構造化テキストによる大規模言語モデルの理解と推論の精度を評価するベンチマークを紹介した。
オープンソース LLM が標準データセットで74.9% の最大精度を達成する一方で、そのパフォーマンスはより難しいデータセットで45.8% に大幅に低下していることを示す。
対照的に、人間の参加者はStrucText-Eval-Hardで92.6%の精度に達し、複雑な構造情報を扱うLLMの現在の限界を強調している。
論文 参考訳（メタデータ） (2024-06-15T12:48:00Z) - Promptly Predicting Structures: The Return of Inference [31.442123334313035]
ゼロショットと少数ショットの言語構造予測器を構築するためのフレームワークを提案する。
その結果, 整合性の維持は構造的に有効であるだけでなく, 性能も向上することがわかった。
論文 参考訳（メタデータ） (2024-01-12T20:08:39Z) - Retrieval-Augmented Code Generation for Universal Information Extraction [66.68673051922497]
情報抽出は、自然言語テキストから構造的知識を抽出することを目的としている。
本稿では,Large Language Models(LLMs)に基づく汎用検索拡張コード生成フレームワークを提案する。
Code4UIEはPythonクラスを採用し、様々な構造的知識のタスク固有のスキーマを普遍的に定義する。
論文 参考訳（メタデータ） (2023-11-06T09:03:21Z) - COLLIE: Systematic Construction of Constrained Text Generation Tasks [33.300039566331876]
COLLIEは文法ベースのフレームワークで、多種多様な世代レベルのリッチで構成的な制約を仕様化することができる。
本研究では,制約構造と生テキストコーパスが与えられたタスクインスタンスの自動抽出ツールを開発する。
我々は、最先端の5つの言語モデルに対して体系的な実験を行い、その性能を分析し、欠点を明らかにする。
論文 参考訳（メタデータ） (2023-07-17T17:48:51Z) - Soft-Labeled Contrastive Pre-training for Function-level Code
Representation [127.71430696347174]
textbfSoft-labeled contrastive pre-training framework with two positive sample construction method。
大規模コードコーパスにおけるコード間の関連性を考慮すると、ソフトラベル付きコントラスト付き事前学習は、きめ細かいソフトラベルを得ることができる。
SCodeRは、7つのデータセットで4つのコード関連タスクに対して、最先端のパフォーマンスを新たに達成する。
論文 参考訳（メタデータ） (2022-10-18T05:17:37Z) - DeepStruct: Pretraining of Language Models for Structure Prediction [64.84144849119554]
テキストから構造を生成するために,タスクに依存しないコーパスの集合上で言語モデルを事前訓練する。
我々の構造事前学習は、モデルが構造タスクについて持っている学習知識のゼロショット転送を可能にする。
10Bパラメータ言語モデルがほとんどのタスクに非自明に転送し、28のデータセットのうち21の最先端のパフォーマンスを得ることを示す。
論文 参考訳（メタデータ） (2022-05-21T00:58:22Z) - Contrastive Learning for Source Code with Structural and Functional
Properties [66.10710134948478]
本稿では,ソースコードの特徴に基づいて事前学習に焦点を当てた,新たな自己教師型モデルBOOSTを提案する。
私たちは、機能的に等価なコードを生成する自動化された構造誘導型コード変換アルゴリズムを採用しています。
私たちは、対照的な学習目標を通じて、機能的に等価なコードをより近く、異なるコードに近づける方法で、モデルをトレーニングします。
論文 参考訳（メタデータ） (2021-10-08T02:56:43Z) - GraphCodeBERT: Pre-training Code Representations with Data Flow [97.00641522327699]
本稿では,コード固有の構造を考慮したプログラミング言語の事前学習モデルであるGraphCodeBERTを提案する。
これは変数間の"where-the-value-comes-from"の関係をエンコードするコードのセマンティックレベルの構造です。
コード検索,クローン検出,コード翻訳,コード改良の4つのタスクにおいて,本モデルを評価する。
論文 参考訳（メタデータ） (2020-09-17T15:25:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。