論文の概要: INTERVENOR: Prompting the Coding Ability of Large Language Models with
the Interactive Chain of Repair
- arxiv url: http://arxiv.org/abs/2311.09868v4
- Date: Tue, 20 Feb 2024 16:26:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 20:15:10.821121
- Title: INTERVENOR: Prompting the Coding Ability of Large Language Models with
the Interactive Chain of Repair
- Title(参考訳): InterVENOR:大規模言語モデルの符号化能力と修復の対話的連鎖を実証する
- Authors: Hanbin Wang, Zhenghao Liu, Shuo Wang, Ganqu Cui, Ning Ding, Zhiyuan
Liu and Ge Yu
- Abstract要約: InterVENORは、人間が観察するインタラクティブなコード修復プロセスをエミュレートするシステムである。
LLMはコード修復プロセスにおいて、コード学習者とコード教師の両方として機能し、異なる役割を担います。
- 参考スコア(独自算出の注目度): 44.673536903764806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces INTERVENOR (INTERactiVE chaiN Of Repair), a system
designed to emulate the interactive code repair processes observed in humans,
encompassing both code diagnosis and code repair. INTERVENOR prompts Large
Language Models (LLMs) to play distinct roles during the code repair process,
functioning as both a Code Learner and a Code Teacher. Specifically, the Code
Learner is tasked with adhering to instructions to generate or repair code,
while the Code Teacher is responsible for crafting a Chain-of-Repair (CoR) to
serve as guidance for the Code Learner. During generating the CoR, the Code
Learner needs to check the generated codes from Code Learner and reassess how
to address code bugs based on error feedback received from compilers.
Experimental results demonstrate that INTERVENOR surpasses baseline models,
exhibiting improvements of approximately 18% and 4.3% over GPT-3.5 in code
generation and code translation tasks, respectively. Our further analyses show
that CoR is effective to illuminate the reasons behind bugs and outline
solution plans in natural language. With the feedback of code compilers,
INTERVENOR can accurately identify syntax errors and assertion errors and
provide precise instructions to repair codes. All data and codes are available
at https://github.com/NEUIR/INTERVENOR
- Abstract(参考訳): InTERactiVE chaiN of repairは,人間が観察する対話型コード修復過程をエミュレートするシステムであり,コード診断とコード修復の両方を包含する。
InterVENORは、コード修復プロセス中にLLM(Large Language Models)に異なる役割を演じるよう促し、コード学習者とコード教師の両方として機能する。
具体的には、Code Learnerはコードの生成や修復の指示に固執すること、Code Teacherはコード学習者のガイダンスとしてChain-of-Repair(CoR)を作成する責任を負う。
CoRの生成中、Code LearnerはCode Learnerから生成されたコードをチェックし、コンパイラから受け取ったエラーフィードバックに基づいて、コードのバグに対処する方法を再評価する必要がある。
実験の結果,InterVENORはベースラインモデルを超え,GPT-3.5よりも約18%,GPT-3.5より4.3%向上した。
さらに分析した結果,CoRはバグの原因を解明し,自然言語によるソリューション計画を概説する上で有効であることがわかった。
コードコンパイラのフィードバックにより、InterfaceVENORは構文エラーとアサーションエラーを正確に識別し、コードを修正するための正確な命令を提供する。
すべてのデータとコードはhttps://github.com/NEUIR/INTERVENORで入手できる。
関連論文リスト
- CodeGRAG: Extracting Composed Syntax Graphs for Retrieval Augmented Cross-Lingual Code Generation [60.799992690487336]
単一ラウンドのコード生成タスクにおいて,LLMの性能を向上させるための構文グラフ検索コード生成(CodeGRAG)を提案する。
CodeGRAGはLLMのコード生成能力を大幅に改善し、言語間コード生成のパフォーマンス向上も実現している。
論文 参考訳(メタデータ) (2024-05-03T02:48:55Z) - CodeCloak: A Method for Evaluating and Mitigating Code Leakage by LLM Code Assistants [23.462703429753706]
LLMベースのコードアシスタントを使用する場合、コード漏洩のリスクを軽減するための2つの補完手法を提案する。
1つ目は、コードアシスタントサービスに送信されたコードセグメントから、開発者のオリジナルを再構築するテクニックである。
2つ目は、コードアシスタントサービスに送信する前にプロンプトを操作する、新しいディープ強化学習エージェントであるCodeCloakである。
論文 参考訳(メタデータ) (2024-04-13T19:30:58Z) - Iterative Refinement of Project-Level Code Context for Precise Code Generation with Compiler Feedback [29.136378191436396]
大規模言語モデル(LLM)は、コードの自動生成において顕著な進歩を示している。
しかし、LLMベースのコード生成を実際のソフトウェアプロジェクトに組み込むことが課題となっている。
本稿では,プロジェクトレベルのコードコンテキストを反復的に洗練するProCoderという新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-03-25T14:07:27Z) - Can It Edit? Evaluating the Ability of Large Language Models to Follow Code Editing Instructions [6.367360745627828]
コード編集タスクのベンチマークを導入し、それをいくつかの最先端LCMの評価に利用する。
我々の評価は、最先端のオープンモデルとクローズドモデルの間の大きなギャップを露呈する。
我々は、自然言語命令と組み合わされたコード編集タスクの新しい、慎重にキュレートされ、パーミッシブにライセンスされたトレーニングデータセットを導入する。
論文 参考訳(メタデータ) (2023-12-11T02:27:45Z) - InterCode: Standardizing and Benchmarking Interactive Coding with
Execution Feedback [50.725076393314964]
標準的な強化学習環境として,インタラクティブコーディングの軽量でフレキシブルで使いやすいフレームワークであるInterCodeを紹介した。
私たちのフレームワークは、言語とプラットフォームに依存しない、自己完結型のDocker環境を使用して、安全で再現可能な実行を提供します。
我々は、異なるプロンプト戦略で構成された複数の最先端LLMを評価することにより、InterCodeの生存性をテストベッドとして示す。
論文 参考訳(メタデータ) (2023-06-26T17:59:50Z) - CONCORD: Clone-aware Contrastive Learning for Source Code [64.51161487524436]
セルフ教師付き事前トレーニングは、多くのダウンストリームSEタスクに価値のあるジェネリックコード表現を学ぶための牽引役になった。
汎用的な表現学習のために、開発者が日々どのようにコードをコーディングするかは、要因としても不可欠である、と私たちは主張する。
特に,表現空間に良性クローンを近づける自己教師型コントラスト学習戦略であるCONCORDを提案する。
論文 参考訳(メタデータ) (2023-06-05T20:39:08Z) - Code Execution with Pre-trained Language Models [88.04688617516827]
コードインテリジェンスのトレーニング済みモデルのほとんどは実行トレースを無視しており、ソースコードと構文構造のみに依存している。
我々は,大規模かつ現実的なPythonデータセットとコード実行タスクを作成するために,突然変異に基づくデータ拡張手法を開発した。
次に、コード実行事前学習とカリキュラム学習を活用して意味理解を強化するトランスフォーマーモデルであるCodeExecutorを提案する。
論文 参考訳(メタデータ) (2023-05-08T10:00:05Z) - ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。
我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-03-15T08:25:08Z) - Compilable Neural Code Generation with Compiler Feedback [43.97362484564799]
本稿では、言語モデルの微調整、コンパイル可能性強化、コンパイル可能性判定を含む、コンパイル可能なコード生成のための3段階パイプラインを提案する。
2つのコード生成タスクの実験は,提案手法の有効性を示し,平均44.18から89.18に,テキスト・コード生成では70.3から96.2に向上した。
論文 参考訳(メタデータ) (2022-03-10T03:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。