論文の概要: Large Language Models of Code Fail at Completing Code with Potential Bugs

• arxiv url: http://arxiv.org/abs/2306.03438v1
• Date: Tue, 6 Jun 2023 06:35:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 17:04:25.622285
• Title: Large Language Models of Code Fail at Completing Code with Potential Bugs
• Title（参考訳）: コードの大きな言語モデルは潜在的なバグでコードの完成に失敗する
• Authors: Tuan Dinh, Jinman Zhao, Samson Tan, Renato Negrinho, Leonard Lausen, Sheng Zha, George Karypis
• Abstract要約: リアルタイムコード提案に触発されたバグコード補完問題について検討する。 潜在的なバグの存在は、高性能なCode-LLMの生成性能を著しく低下させる。
• 参考スコア（独自算出の注目度）: 21.755502865329028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models of code (Code-LLMs) have recently brought tremendous advances to code completion, a fundamental feature of programming assistance and code intelligence. However, most existing works ignore the possible presence of bugs in the code context for generation, which are inevitable in software development. Therefore, we introduce and study the buggy-code completion problem, inspired by the realistic scenario of real-time code suggestion where the code context contains potential bugs -- anti-patterns that can become bugs in the completed program. To systematically study the task, we introduce two datasets: one with synthetic bugs derived from semantics-altering operator changes (buggy-HumanEval) and one with realistic bugs derived from user submissions to coding problems (buggy-FixEval). We find that the presence of potential bugs significantly degrades the generation performance of the high-performing Code-LLMs. For instance, the passing rates of CodeGen-2B-mono on test cases of buggy-HumanEval drop more than 50% given a single potential bug in the context. Finally, we investigate several post-hoc methods for mitigating the adverse effect of potential bugs and find that there remains a large gap in post-mitigation performance.
• Abstract（参考訳）: 大規模なコード言語モデル(Code-LLMs)は、最近、プログラミング補助とコードインテリジェンスの基本機能であるコード補完に大きな進歩をもたらした。 しかしながら、既存の作業のほとんどは、ソフトウェア開発では避けられないコードコンテキストにおけるバグの存在を無視しています。 そこで本研究では,コードコンテキストが潜在的なバグを含むリアルタイムコード提案の現実的なシナリオから着想を得た,バグのあるコード補完問題を紹介し,研究する。 タスクを体系的に研究するために,semantics-alteringオペレータの変更(buggy-humaneval)に由来する合成バグと,コーディング問題(buggy-fixeval)に対するユーザの投稿から派生した現実的なバグ(buggy-humaneval)の2つのデータセットを導入する。 潜在的なバグの存在は、パフォーマンスの高いコードllmの生成性能を著しく低下させる。 例えば、Buggy-HumanEvalのテストケースにおけるCodeGen-2B-monoの通過率は、コンテキスト内の単一の潜在的なバグから50%以上減少する。 最後に,潜在的なバグの悪影響を緩和するポストホック法をいくつか検討し,ポストホック性能に大きなギャップがあることを見いだした。

関連論文リスト

• Bugs in Large Language Models Generated Code: An Empirical Study [12.625305075672456]
  コード用の大規模言語モデル(LLM)が最近注目を集めている。 人間書きのコードと同様、LLM生成コードはバグを起こしやすい。 本稿では,3つのLLMを用いて生成されたコードから収集した333個のバグのサンプルについて検討する。
  論文  参考訳（メタデータ） (2024-03-13T20:12:01Z)
• DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
  DebugBench - LLM(Large Language Models)のベンチマーク。 C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。 ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-09T15:46:38Z)
• Automated Bug Generation in the era of Large Language Models [6.0770779409377775]
  BugFarmは任意のコードを複数の複雑なバグに変換する。 BUGFARMが生成した1.9万以上の変異株から435k以上のバグを総合的に評価する。
  論文  参考訳（メタデータ） (2023-10-03T20:01:51Z)
• PreciseBugCollector: Extensible, Executable and Precise Bug-fix Collection [8.79879909193717]
  正確な多言語バグ収集手法であるPreciseBugCollectorを紹介する。 外部バグリポジトリでリポジトリをマップしてバグタイプ情報をトレースするバグトラッカと、プロジェクト固有のバグを生成するバグインジェクタの2つの新しいコンポーネントに基づいている。 現在、PreciseBugCollectorは2968のオープンソースプロジェクトから抽出された1057818のバグを含んでいる。
  論文  参考訳（メタデータ） (2023-09-12T13:47:44Z)
• Teaching Large Language Models to Self-Debug [62.424077000154945]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:43:43Z)
• Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
  本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。 トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
  論文  参考訳（メタデータ） (2023-02-14T18:43:34Z)
• Explaining Software Bugs Leveraging Code Structures in Neural Machine Translation [5.079750706023254]
  Bugsplainerは、バグ修正コミットの大規模なコーパスから学ぶことによって、ソフトウェアバグの自然言語説明を生成する。 3つのパフォーマンス指標を用いて評価したところ、BugsplainerはGoogleの標準に従って理解しやすく良い説明を生成できることがわかった。 また、Bugsplainerによる説明がベースラインよりも正確で、より正確で、より有用であることが判明した、20人の参加者を対象にした開発者スタディも実施しました。
  論文  参考訳（メタデータ） (2022-12-08T22:19:45Z)
• Using Developer Discussions to Guide Fixing Bugs in Software [51.00904399653609]
  我々は,タスク実行前に利用可能であり,また自然発生しているバグレポートの議論を,開発者による追加情報の必要性を回避して利用することを提案する。 このような議論から派生したさまざまな自然言語コンテキストがバグ修正に役立ち、オラクルのバグ修正コミットに対応するコミットメッセージの使用よりもパフォーマンスの向上につながることを実証する。
  論文  参考訳（メタデータ） (2022-11-11T16:37:33Z)
• BigIssue: A Realistic Bug Localization Benchmark [89.8240118116093]
  BigIssueは、現実的なバグローカライゼーションのためのベンチマークである。 実際のJavaバグと合成Javaバグの多様性を備えた一般的なベンチマークを提供する。 われわれは,バグローカライゼーションの最先端技術として,APRの性能向上と,現代の開発サイクルへの適用性の向上を期待している。
  論文  参考訳（メタデータ） (2022-07-21T20:17:53Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)
• Predicting Vulnerability In Large Codebases With Deep Code Representation [6.357681017646283]
  ソフトウェアエンジニアは様々なモジュールのコードを書きます。 過去に(異なるモジュールで)修正された同様の問題やバグも、本番コードで再び導入される傾向にある。 ソースコードから生成した抽象構文木(AST)の深部表現とアクティブフィードバックループを用いた,AIに基づく新しいシステムを開発した。
  論文  参考訳（メタデータ） (2020-04-24T13:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。