論文の概要: Fault-Aware Neural Code Rankers

• arxiv url: http://arxiv.org/abs/2206.03865v1
• Date: Sat, 4 Jun 2022 22:01:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-11 13:41:29.302177
• Title: Fault-Aware Neural Code Rankers
• Title（参考訳）: 故障対応ニューラルコードランカ
• Authors: Jeevana Priya Inala, Chenglong Wang, Mei Yang, Andres Codas, Mark Encarnaci\'on, Shuvendu K Lahiri, Madanlal Musuvathi, Jianfeng Gao
• Abstract要約: サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。 我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
• 参考スコア（独自算出の注目度）: 64.41888054066861
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated an impressive ability to generate code for various programming tasks. In many instances, LLMs can generate a correct program for a task when given numerous trials. Consequently, a recent trend is to do large scale sampling of programs using a model and then filtering/ranking the programs based on the program execution on a small number of known unit tests to select one candidate solution. However, these approaches assume that the unit tests are given and assume the ability to safely execute the generated programs (which can do arbitrary dangerous operations such as file manipulations). Both of the above assumptions are impractical in real-world software development. In this paper, we propose fault-aware neural code rankers that can predict the correctness of a sampled program without executing it. The fault-aware rankers are trained to predict different kinds of execution information such as predicting the exact compile/runtime error type (e.g., an IndexError or a TypeError). We show that our fault-aware rankers can significantly increase the pass@1 accuracy of various code generation models (including Codex, GPT-Neo, GPT-J) on APPS, HumanEval and MBPP datasets.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なプログラミングタスクのためのコードを生成する素晴らしい能力を示している。 多くの場合、LSMは多数の試行を与えられたときにタスクの正しいプログラムを生成することができる。 その結果、最近の傾向は、モデルを用いてプログラムを大規模にサンプリングし、少数の既知の単体テストでプログラムの実行に基づいてプログラムをフィルタリング/ランク付けし、1つの候補解を選択することである。 しかし、これらの手法はユニットテストが与えられ、生成したプログラムを安全に実行(ファイル操作のような危険な操作を任意に行う)することができると仮定する。 上記の2つの仮定は、現実のソフトウェア開発では実用的でない。 本稿では,サンプルプログラムの実行を伴わずにプログラムの正確性を予測可能な,フォールトアウェア型ニューラルネットワークランカを提案する。 フォールトアウェアランカは、コンパイル/実行エラータイプ(indexerrorやtypeerrorなど)の正確な予測など、さまざまな種類の実行情報を予測するように訓練される。 我々は,APPS, HumanEval, MBPPデータセット上のコード生成モデル(Codex, GPT-Neo, GPT-Jなど)のパス@1精度を大幅に向上できることを示す。

関連論文リスト

• Can OpenSource beat ChatGPT? -- A Comparative Study of Large Language Models for Text-to-Code Generation [0.24578723416255752]
  テキスト・ツー・コード生成の能力について,5つの大言語モデル (LLM) を評価した。 ChatGPTはこれらの典型的なプログラミング課題を、Code Llamaのようなコード特化モデルよりもはるかに効果的に処理することができる。
  論文  参考訳（メタデータ） (2024-09-06T10:03:49Z)
• Learning to Reason via Program Generation, Emulation, and Search [33.11955431589091]
  言語モデル(LM)によるプログラム合成は、多くの推論能力を解放した。 すべての推論タスクは、コードとして容易に表現できるわけではない。例えば、常識的推論、道徳的意思決定、皮肉な理解を含むタスクである。 我々は,プログラム合成スキルをこのようなタスクに拡張するために,コード生成とエミュレートされた実行(CoGEX)を提案する。
  論文  参考訳（メタデータ） (2024-05-25T19:40:50Z)
• NExT: Teaching Large Language Models to Reason about Code Execution [50.93581376646064]
  大規模言語モデル(LLM)のコードは通常、プログラムの表面テキスト形式に基づいて訓練される。 NExTは,プログラムの実行トレースを検査し,実行時の動作を判断する手法である。
  論文  参考訳（メタデータ） (2024-04-23T01:46:32Z)
• SLaDe: A Portable Small Language Model Decompiler for Optimized Assembly [6.080751346188323]
  本稿では,実世界のコード上で訓練されたシーケンス・ツー・シーケンス・トランスフォーマをベースとした小型言語モデルデコンパイラであるSLaDeを提案する。 型推論を利用して、標準的な分析や最近のニューラルアプローチよりも読みやすく正確なプログラムを生成する。
  論文  参考訳（メタデータ） (2023-05-21T17:31:39Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)
• Learning from Self-Sampled Correct and Partially-Correct Programs [96.66452896657991]
  そこで本研究では,モデルが学習中にサンプリングを行い,自己サンプリングされた完全正当プログラムと部分正当プログラムの両方から学習することを提案する。 自己サンプリング型プログラムと部分修正型プログラムを併用することで,学習とサンプリングプロセスのガイドに役立てることができることを示す。 提案手法は,MLEを用いた単一の参照プログラムからの学習と比較して,パス@kの性能を3.1%から12.3%向上させる。
  論文  参考訳（メタデータ） (2022-05-28T03:31:07Z)
• Natural Language to Code Translation with Execution [82.52142893010563]
  実行結果-プログラム選択のための最小ベイズリスク復号化。 そこで本研究では,自然言語からコードへのタスクにおいて,事前訓練されたコードモデルの性能を向上することを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:06:08Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。