論文の概要: INTERVENOR: Prompt the Coding Ability of Large Language Models with the
Interactive Chain of Repairing
- arxiv url: http://arxiv.org/abs/2311.09868v3
- Date: Fri, 19 Jan 2024 01:36:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 13:12:33.799026
- Title: INTERVENOR: Prompt the Coding Ability of Large Language Models with the
Interactive Chain of Repairing
- Title(参考訳): InterVENOR: 修復の対話的連鎖による大規模言語モデルの符号化能力向上
- Authors: Hanbin Wang, Zhenghao Liu, Shuo Wang, Ganqu Cui, Ning Ding, Zhiyuan
Liu and Ge Yu
- Abstract要約: InterVENORはCode LearnerとCode Teacherという2つのエージェントを使って、コードの修復にさまざまな役割を担っている。
コード学習者は、コード教師からの指示に従ってコードの生成と修復を依頼される。
Code Teacherは、コンパイラからのフィードバックに応じてコードエラーを再考し、繰り返し再生の連鎖を生成する。
- 参考スコア(独自算出の注目度): 44.673536903764806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes INTERactiVE chaiN Of Repairing (INTERVENOR), which mimics
human code repairing behavior (iteratively judging, rethinking, and repairing)
and prompts the coding ability of regard Large Language Models (LLMs).
Specifically, INTERVENOR employs two LLM based agents, Code Learner and Code
Teacher, to play different roles in code repairing and work interactively to
repair the generated codes. The Code Learner is asked to generate and repair
code according to the instructions from the Code Teacher. The Code Teacher
rethinks the code errors according to the corresponding feedback from compilers
and iteratively generates the chain-of-repairing (CoR) to guide the code
repairing process for Code Learner. Our experiments show that INTERVENOR
outperforms the state-of-the-art methods and achieves about 13% and 4.5%
improvements over the GPT-3.5 model in code generation and code translation
tasks, respectively. Our further analyses show that CoR can illuminate the bug
reasons and solution plans via natural language. With the feedback of code
compilers, INTERVENOR can accurately identify the syntax errors and assertion
errors in the code and provide precise instructions to repair codes. All data
and codes are available at https://github.com/NEUIR/INTERVENOR
- Abstract(参考訳): 本稿では,人間のコード修復行動(反復的判断,再検討,修復)を模倣し,大規模言語モデル(llm)のコーディング能力を促進する対話型修復チェーン(intervenor)を提案する。
具体的には、2つのLLMベースのエージェントであるCode LearnerとCode Teacherを使って、コード修復の異なる役割を演じ、生成されたコードを修正するために対話的に作業する。
コード学習者は、コード教師からの指示に従ってコードの生成と修復を依頼される。
Code Teacherは、コンパイラからのフィードバックに応じてコードエラーを再考し、コードラーナーのコード修復プロセスをガイドするために繰り返し再ペアリング(CoR)を生成する。
実験の結果、intervenorは最先端のメソッドよりも優れており、コード生成とコード変換タスクにおいて、gpt-3.5モデルよりも約13%と4.5%改善されていることがわかった。
さらに分析した結果,CoRは自然言語によるバグの理由や解決計画に照らし出すことができることがわかった。
コードコンパイラのフィードバックにより、intervenorはコードの構文エラーとアサーションエラーを正確に識別し、コードを修正する正確な指示を提供することができる。
すべてのデータとコードはhttps://github.com/NEUIR/INTERVENORで入手できる。
関連論文リスト
- CodeGRAG: Extracting Composed Syntax Graphs for Retrieval Augmented Cross-Lingual Code Generation [60.799992690487336]
単一ラウンドのコード生成タスクにおいて,LLMの性能を向上させるための構文グラフ検索コード生成(CodeGRAG)を提案する。
CodeGRAGはLLMのコード生成能力を大幅に改善し、言語間コード生成のパフォーマンス向上も実現している。
論文 参考訳(メタデータ) (2024-05-03T02:48:55Z) - CodeCloak: A Method for Evaluating and Mitigating Code Leakage by LLM Code Assistants [23.462703429753706]
LLMベースのコードアシスタントを使用する場合、コード漏洩のリスクを軽減するための2つの補完手法を提案する。
1つ目は、コードアシスタントサービスに送信されたコードセグメントから、開発者のオリジナルを再構築するテクニックである。
2つ目は、コードアシスタントサービスに送信する前にプロンプトを操作する、新しいディープ強化学習エージェントであるCodeCloakである。
論文 参考訳(メタデータ) (2024-04-13T19:30:58Z) - Iterative Refinement of Project-Level Code Context for Precise Code Generation with Compiler Feedback [29.136378191436396]
大規模言語モデル(LLM)は、コードの自動生成において顕著な進歩を示している。
しかし、LLMベースのコード生成を実際のソフトウェアプロジェクトに組み込むことが課題となっている。
本稿では,プロジェクトレベルのコードコンテキストを反復的に洗練するProCoderという新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-03-25T14:07:27Z) - Can It Edit? Evaluating the Ability of Large Language Models to Follow Code Editing Instructions [6.367360745627828]
コード編集タスクのベンチマークを導入し、それをいくつかの最先端LCMの評価に利用する。
我々の評価は、最先端のオープンモデルとクローズドモデルの間の大きなギャップを露呈する。
我々は、自然言語命令と組み合わされたコード編集タスクの新しい、慎重にキュレートされ、パーミッシブにライセンスされたトレーニングデータセットを導入する。
論文 参考訳(メタデータ) (2023-12-11T02:27:45Z) - InterCode: Standardizing and Benchmarking Interactive Coding with
Execution Feedback [50.725076393314964]
標準的な強化学習環境として,インタラクティブコーディングの軽量でフレキシブルで使いやすいフレームワークであるInterCodeを紹介した。
私たちのフレームワークは、言語とプラットフォームに依存しない、自己完結型のDocker環境を使用して、安全で再現可能な実行を提供します。
我々は、異なるプロンプト戦略で構成された複数の最先端LLMを評価することにより、InterCodeの生存性をテストベッドとして示す。
論文 参考訳(メタデータ) (2023-06-26T17:59:50Z) - CONCORD: Clone-aware Contrastive Learning for Source Code [64.51161487524436]
セルフ教師付き事前トレーニングは、多くのダウンストリームSEタスクに価値のあるジェネリックコード表現を学ぶための牽引役になった。
汎用的な表現学習のために、開発者が日々どのようにコードをコーディングするかは、要因としても不可欠である、と私たちは主張する。
特に,表現空間に良性クローンを近づける自己教師型コントラスト学習戦略であるCONCORDを提案する。
論文 参考訳(メタデータ) (2023-06-05T20:39:08Z) - Code Execution with Pre-trained Language Models [88.04688617516827]
コードインテリジェンスのトレーニング済みモデルのほとんどは実行トレースを無視しており、ソースコードと構文構造のみに依存している。
我々は,大規模かつ現実的なPythonデータセットとコード実行タスクを作成するために,突然変異に基づくデータ拡張手法を開発した。
次に、コード実行事前学習とカリキュラム学習を活用して意味理解を強化するトランスフォーマーモデルであるCodeExecutorを提案する。
論文 参考訳(メタデータ) (2023-05-08T10:00:05Z) - ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。
我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-03-15T08:25:08Z) - Compilable Neural Code Generation with Compiler Feedback [43.97362484564799]
本稿では、言語モデルの微調整、コンパイル可能性強化、コンパイル可能性判定を含む、コンパイル可能なコード生成のための3段階パイプラインを提案する。
2つのコード生成タスクの実験は,提案手法の有効性を示し,平均44.18から89.18に,テキスト・コード生成では70.3から96.2に向上した。
論文 参考訳(メタデータ) (2022-03-10T03:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。