論文の概要: Code4Struct: Code Generation for Few-Shot Event Structure Prediction

• arxiv url: http://arxiv.org/abs/2210.12810v2
• Date: Thu, 25 May 2023 00:48:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 23:45:07.313980
• Title: Code4Struct: Code Generation for Few-Shot Event Structure Prediction
• Title（参考訳）: Code4Struct:Few-Shotイベント構造予測のためのコード生成
• Authors: Xingyao Wang, Sha Li, Heng Ji
• Abstract要約: 我々は,構造化予測タスクに対処するために,テキストから構造への変換機能を活用するCode4Structを提案する。 我々は、テキストをコードを使ってクラスオブジェクトとして表現できるイベント引数構造に変換するものとして、イベント引数抽出(EAE)を定式化する。 Code4Structは4,202インスタンスでトレーニングされた教師付きモデルに匹敵し、20ショットデータで29.5%の絶対F1でトレーニングされた現在のSOTA(State-of-the-art)を上回っている。
• 参考スコア（独自算出の注目度）: 55.14363536066588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) trained on a mixture of text and code has demonstrated impressive capability in translating natural language (NL) into structured code. We observe that semantic structures can be conveniently translated into code and propose Code4Struct to leverage such text-to-structure translation capability to tackle structured prediction tasks. As a case study, we formulate Event Argument Extraction (EAE) as converting text into event-argument structures that can be represented as a class object using code. This alignment between structures and code enables us to take advantage of Programming Language (PL) features such as inheritance and type annotation to introduce external knowledge or add constraints. We show that, with sufficient in-context examples, formulating EAE as a code generation problem is advantageous over using variants of text-based prompts. Despite only using 20 training event instances for each event type, Code4Struct is comparable to supervised models trained on 4,202 instances and outperforms current state-of-the-art (SOTA) trained on 20-shot data by 29.5% absolute F1. Code4Struct can use 10-shot training data from a sibling event type to predict arguments for zero-resource event types and outperforms the zero-shot baseline by 12% absolute F1.
• Abstract（参考訳）: 大言語モデル(LLM)は、自然言語(NL)を構造化コードに翻訳する際、テキストとコードの混合で訓練された。 セマンティック構造がコードに便利に変換できることを観察し、このようなテキストから構造への変換機能を活用して、構造化予測タスクに取り組むCode4Structを提案する。 ケーススタディとして、テキストをコードを使ってクラスオブジェクトとして表現できるイベントアグリゲーション構造に変換するイベント引数抽出(eae)を定式化する。 この構造とコードのアライメントにより、継承や型アノテーションといったプログラミング言語(pl)の機能を利用して、外部の知識の導入や制約の追加を可能にします。 テキストベースのプロンプトの変種を使用するよりも,EAEをコード生成問題として定式化する方が有利であることを示す。 イベントタイプ毎に20のトレーニングイベントインスタンスのみを使用するにもかかわらず、Code4Structは4,202のインスタンスでトレーニングされた教師付きモデルに匹敵し、20ショットデータで29.5%の絶対F1でトレーニングされた現在のSOTA(State-of-the-art)を上回っている。 Code4Structは、兄弟イベントタイプからの10ショットトレーニングデータを使用して、ゼロリソースイベントタイプの引数を予測し、ゼロショットベースラインを12%の絶対F1で上回る。

関連論文リスト

• Line-level Semantic Structure Learning for Code Vulnerability Detection [44.29771620061153]
  ラインレベルのセマンティックラーニングを通じて,コード構造認識ネットワークを導入する。 コード前処理、グローバルセマンティック認識、ラインセマンティック認識、ラインセマンティック構造認識の4つのコンポーネントから構成される。 CSLSモデルは、コード脆弱性検出における最先端のベースラインを上回り、Devignデータセットで70.57%、Revealデータセットで49.59%のF1スコアを達成している。
  論文  参考訳（メタデータ） (2024-07-26T17:15:58Z)
• Promptly Predicting Structures: The Return of Inference [31.442123334313035]
  ゼロショットと少数ショットの言語構造予測器を構築するためのフレームワークを提案する。 その結果, 整合性の維持は構造的に有効であるだけでなく, 性能も向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-12T20:08:39Z)
• Retrieval-Augmented Code Generation for Universal Information Extraction [66.68673051922497]
  情報抽出は、自然言語テキストから構造的知識を抽出することを目的としている。 本稿では,Large Language Models(LLMs)に基づく汎用検索拡張コード生成フレームワークを提案する。 Code4UIEはPythonクラスを採用し、様々な構造的知識のタスク固有のスキーマを普遍的に定義する。
  論文  参考訳（メタデータ） (2023-11-06T09:03:21Z)
• COLLIE: Systematic Construction of Constrained Text Generation Tasks [33.300039566331876]
  COLLIEは文法ベースのフレームワークで、多種多様な世代レベルのリッチで構成的な制約を仕様化することができる。 本研究では,制約構造と生テキストコーパスが与えられたタスクインスタンスの自動抽出ツールを開発する。 我々は、最先端の5つの言語モデルに対して体系的な実験を行い、その性能を分析し、欠点を明らかにする。
  論文  参考訳（メタデータ） (2023-07-17T17:48:51Z)
• Soft-Labeled Contrastive Pre-training for Function-level Code Representation [127.71430696347174]
  textbfSoft-labeled contrastive pre-training framework with two positive sample construction method。 大規模コードコーパスにおけるコード間の関連性を考慮すると、ソフトラベル付きコントラスト付き事前学習は、きめ細かいソフトラベルを得ることができる。 SCodeRは、7つのデータセットで4つのコード関連タスクに対して、最先端のパフォーマンスを新たに達成する。
  論文  参考訳（メタデータ） (2022-10-18T05:17:37Z)
• DeepStruct: Pretraining of Language Models for Structure Prediction [64.84144849119554]
  テキストから構造を生成するために,タスクに依存しないコーパスの集合上で言語モデルを事前訓練する。 我々の構造事前学習は、モデルが構造タスクについて持っている学習知識のゼロショット転送を可能にする。 10Bパラメータ言語モデルがほとんどのタスクに非自明に転送し、28のデータセットのうち21の最先端のパフォーマンスを得ることを示す。
  論文  参考訳（メタデータ） (2022-05-21T00:58:22Z)
• Contrastive Learning for Source Code with Structural and Functional Properties [66.10710134948478]
  本稿では,ソースコードの特徴に基づいて事前学習に焦点を当てた,新たな自己教師型モデルBOOSTを提案する。 私たちは、機能的に等価なコードを生成する自動化された構造誘導型コード変換アルゴリズムを採用しています。 私たちは、対照的な学習目標を通じて、機能的に等価なコードをより近く、異なるコードに近づける方法で、モデルをトレーニングします。
  論文  参考訳（メタデータ） (2021-10-08T02:56:43Z)
• GraphCodeBERT: Pre-training Code Representations with Data Flow [97.00641522327699]
  本稿では,コード固有の構造を考慮したプログラミング言語の事前学習モデルであるGraphCodeBERTを提案する。 これは変数間の"where-the-value-comes-from"の関係をエンコードするコードのセマンティックレベルの構造です。 コード検索,クローン検出,コード翻訳,コード改良の4つのタスクにおいて,本モデルを評価する。
  論文  参考訳（メタデータ） (2020-09-17T15:25:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。