論文の概要: ConAIR:Consistency-Augmented Iterative Interaction Framework to Enhance the Reliability of Code Generation

• arxiv url: http://arxiv.org/abs/2411.15587v1
• Date: Sat, 23 Nov 2024 15:26:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:07.201090
• Title: ConAIR:Consistency-Augmented Iterative Interaction Framework to Enhance the Reliability of Code Generation
• Title（参考訳）: ConAIR: Consistency-Augmented Iterative Interaction Frameworkによるコード生成の信頼性向上
• Authors: Jinhao Dong, Jun Sun, Wenjie Zhang, Jin Song Dong, Dan Hao,
• Abstract要約: コード生成, ConAIR の信頼性を高めるために, 一貫性を付加した反復的相互作用フレームワークを提案する。 人間の努力を最小限に抑えることで、パフォーマンスを大幅に向上できることを示す。
• 参考スコア（独自算出の注目度）: 17.68163468068264
• License:
• Abstract: Code generation techniques generate code snippets automatically based on the problem requirements in natural language. Recently, large language models (LLMs) achieve the SOTA performance on code generation. However, LLMs still struggle at times to generate accurate code, which diminishes their promised efficiency as developers must spend significant effort evaluating and debugging the generated code. To improve the reliability and quality of the generated codes, researchers propose to leverage Consistency to obtain a better code based on generating and ranking multiple candidates. The existing approach is problematic as Consistency thinks a code is better when (1) the code pass more tests (inter-consistency) (2) more codes share the same behavior (intra-consistency). However, because the tests are also generated by LLMs, they could be wrong as well. As a result, majority voting based on testing results is unreliable. Relying solely on consistency is insufficient to address this issue; integrating user feedback is essential for effectively guiding consistency. We show that with minimal human effort, performance can be significantly enhanced. We propose Consistency-Augmented Iterative Interaction Framework to Enhance the Reliability of Code Generation, ConAIR, which is an approach that aims to improve the performance of a code generator through two distinctive ingredients, i.e., (1) lightweight user effort for validating the correctness of selected tests; and (2) a dynamic strategy for ranking, localizing and correcting multiple tests and codes. Overall, we propose a lightweight interaction framework that incorporates user feedback to correct identified tests and guide the iterative process. The iteration rounds are only 4 in average with the help of consistency. With only lightweight human efforts, we can achieve an improvement of 33% towards the base model.
• Abstract（参考訳）: コード生成技術は、自然言語の問題要件に基づいてコードスニペットを自動的に生成する。 近年,大規模言語モデル (LLM) はコード生成におけるSOTA性能を実現している。 しかし、LLMは正確なコードを生成するのに苦労することがあるため、開発者は生成されたコードを評価してデバッグしなければならないため、約束された効率を低下させる。 生成したコードの信頼性と品質を改善するため、研究者は一貫性を活用して複数の候補の生成とランキングに基づいてより良いコードを得る方法を提案する。 一貫性(Consistency)は、(1)コードがより多くのテスト(inter-consistency)をパスする場合、(2)多くのコードが同じ振る舞い(intra-consistency)を共有している場合、コードの方がよいと考えているため、既存のアプローチは問題である。 しかし、LLMによってもテストが生成されるため、これも間違いである可能性がある。 その結果、テスト結果に基づく過半数の投票は信頼できない。 一貫性のみにのみ依存することはこの問題に対処するには不十分であり、一貫性を効果的に導くためには、ユーザフィードバックの統合が不可欠である。 人間の努力を最小限に抑えることで、パフォーマンスを大幅に向上できることを示す。 本研究では,コード生成の信頼性を高めるための一貫性強化型反復的インタラクションフレームワークConAIRを提案する。このフレームワークは,(1)選択したテストの正しさを検証するための軽量なユーザ取り組み,(2)複数のテストやコードのランク付け,ローカライズ,修正を行う動的戦略である。 本稿では,ユーザからのフィードバックを取り入れた軽量なインタラクションフレームワークを提案する。 イテレーションラウンドは,一貫性の助けを借りて,平均で4つに過ぎません。 軽量な人的努力だけで、ベースモデルに向けて33%の改善が達成できます。

関連論文リスト

• CodeCoR: An LLM-Based Self-Reflective Multi-Agent Framework for Code Generation [10.048098631259876]
  コード生成は、自然言語で書かれた要求を自動的に満たすコードを生成することを目的としている。 ChatGPTのような大きな言語モデル(LLM)は、生成されたコードの構文的および意味論的正確性を保証するのに失敗する。 我々は,各エージェントとそのコラボレーションの有効性を評価する,自己表現型マルチエージェントフレームワークであるCodeCoRを提案する。
  論文  参考訳（メタデータ） (2025-01-14T03:21:10Z)
• GenX: Mastering Code and Test Generation with Execution Feedback [7.225594526057816]
  本稿では,コード生成モデルとテスト生成モデルを同時にトレーニングする新しい手法を提案する。 テストデータとコードデータの増大のための2つの戦略と、コードとテストランキングのための新しいスコアリング機能を導入します。 その結果、我々のモデルは、テストケースやコードソリューションの数の増加で反復的にトレーニングされた場合、元のデータセットでトレーニングされたモデルよりも優れています。
  論文  参考訳（メタデータ） (2024-12-18T03:18:21Z)
• CodeDPO: Aligning Code Models with Self Generated and Verified Source Code [52.70310361822519]
  我々は、コード生成に好み学習を統合するフレームワークであるCodeDPOを提案し、コードの正確性と効率性という2つの重要なコード優先要因を改善した。 CodeDPOは、コードとテストケースを同時に生成、評価するセルフジェネレーション・アンド・バリデーションメカニズムを利用して、新しいデータセット構築方法を採用している。
  論文  参考訳（メタデータ） (2024-10-08T01:36:15Z)
• Sifting through the Chaff: On Utilizing Execution Feedback for Ranking the Generated Code Candidates [46.74037090843497]
  大規模言語モデル(LLM)は、自然言語記述に基づいたコードの自動生成によって、開発者がプログラミングにアプローチする方法を変えつつある。 本稿では,実行フィードバックを活用するコードランキングの革新的なアプローチである RankEF について述べる。 3つのコード生成ベンチマークの実験では、RanEFが最先端のCodeRankerよりも大幅に優れていることが示されている。
  論文  参考訳（メタデータ） (2024-08-26T01:48:57Z)
• DOCE: Finding the Sweet Spot for Execution-Based Code Generation [69.5305729627198]
  本稿では,候補生成,$n$-best再ランク,最小ベイズリスク(MBR)復号化,自己老化などを含む包括的フレームワークを提案する。 本研究は,実行ベースメソッドの重要性と,実行ベースメソッドと実行フリーメソッドとの差を明らかにする。
  論文  参考訳（メタデータ） (2024-08-25T07:10:36Z)
• SWT-Bench: Testing and Validating Real-World Bug-Fixes with Code Agents [10.730852617039451]
  ユーザ問題をテストケースに形式化するLLMベースのコードエージェントについて検討する。 我々は人気のあるGitHubリポジトリに基づいた新しいベンチマークを提案し、現実世界の問題、地味なバグフィックス、ゴールデンテストを含む。 コード修復用に設計されたコードエージェントは,テスト生成用に設計されたシステムの性能を上回っている。
  論文  参考訳（メタデータ） (2024-06-18T14:54:37Z)
• Test-Driven Development for Code Generation [0.850206009406913]
  大きな言語モデル(LLM)は、問題ステートメントから直接コードスニペットを生成する重要な機能を示している。 本稿では,テスト駆動開発(TDD)をAI支援コード生成プロセスに組み込む方法について検討する。
  論文  参考訳（メタデータ） (2024-02-21T04:10:12Z)
• InterCode: Standardizing and Benchmarking Interactive Coding with Execution Feedback [50.725076393314964]
  標準的な強化学習環境として,インタラクティブコーディングの軽量でフレキシブルで使いやすいフレームワークであるInterCodeを紹介した。 私たちのフレームワークは、言語とプラットフォームに依存しない、自己完結型のDocker環境を使用して、安全で再現可能な実行を提供します。 我々は、異なるプロンプト戦略で構成された複数の最先端LLMを評価することにより、InterCodeの生存性をテストベッドとして示す。
  論文  参考訳（メタデータ） (2023-06-26T17:59:50Z)
• ReCode: Robustness Evaluation of Code Generation Models [90.10436771217243]
  コード生成モデルのための総合的ロバストネス評価ベンチマークであるReCodeを提案する。 ドクストリング、関数と変数名、コード構文、コードフォーマットのコードに特化して、30以上の変換をカスタマイズします。 ヒトのアノテータでは、摂動プロンプトの90%以上が本来のプロンプトの意味を変えていないことが確認された。
  論文  参考訳（メタデータ） (2022-12-20T14:11:31Z)
• Interactive Code Generation via Test-Driven User-Intent Formalization [60.90035204567797]
  大きな言語モデル(LLM)は、非公式な自然言語(NL)の意図からコードを生成する。 自然言語は曖昧であり、形式的な意味論が欠けているため、正確性の概念を定義するのは難しい。 言語に依存しない抽象アルゴリズムと具体的な実装TiCoderについて述べる。
  論文  参考訳（メタデータ） (2022-08-11T17:41:08Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。