論文の概要: ROCODE: Integrating Backtracking Mechanism and Program Analysis in Large Language Models for Code Generation

• arxiv url: http://arxiv.org/abs/2411.07112v1
• Date: Mon, 11 Nov 2024 16:39:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:11:23.160103
• Title: ROCODE: Integrating Backtracking Mechanism and Program Analysis in Large Language Models for Code Generation
• Title（参考訳）: ROCODE:コード生成のための大規模言語モデルにおけるバックトラック機構とプログラム解析の統合
• Authors: Xue Jiang, Yihong Dong, Yongding Tao, Huanyu Liu, Zhi Jin, Wenpin Jiao, Ge Li,
• Abstract要約: 大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 LLMはコード生成時にエラーの蓄積に影響を受けやすい。 コード生成のためのLLMにバックトラック機構とプログラム解析を統合したROCODEを提案する。
• 参考スコア（独自算出の注目度）: 31.363781211927947
• License:
• Abstract: Large language models (LLMs) have achieved impressive performance in code generation recently, offering programmers revolutionary assistance in software development. However, due to the auto-regressive nature of LLMs, they are susceptible to error accumulation during code generation. Once an error is produced, LLMs can merely continue to generate the subsequent code conditioned on it, given their inability to adjust previous outputs. Existing LLM-based approaches typically consider post-revising after code generation, leading to the challenging resolution of accumulated errors and the significant wastage of resources. Ideally, LLMs should rollback and resolve the occurred error in time during code generation, rather than proceed on the basis of the error and wait for post-revising after generation. In this paper, we propose ROCODE, which integrates the backtracking mechanism and program analysis into LLMs for code generation. Specifically, we employ program analysis to perform incremental error detection during the generation process. When an error is detected, the backtracking mechanism is triggered to priming rollback strategies and constraint regeneration, thereby eliminating the error early and ensuring continued generation on the correct basis. Experiments on multiple code generation benchmarks show that ROCODE can significantly reduce the errors generated by LLMs, with a compilation pass rate of 99.1%. The test pass rate is improved by up to 23.8% compared to the best baseline approach. Compared to the post-revising baseline, the token cost is reduced by 19.3%. Moreover, our approach is model-agnostic and achieves consistent improvements across nine representative LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、コード生成において印象的なパフォーマンスを達成し、プログラマがソフトウェア開発において革命的な支援を提供する。 しかし、LLMの自己回帰的な性質のため、コード生成時にエラーの蓄積を受けやすい。 エラーが生成されると、LCMは、以前の出力を調整することができないことを考慮し、後続のコードを生成するだけでよい。 既存のLLMベースのアプローチは、コード生成後のポストリビジョンをよく考えており、蓄積されたエラーの解決とリソースの大幅な浪費に繋がる。 理想的には、LLMはコード生成中に発生したエラーをロールバックして解決するべきだ。 本稿では,コード生成のためのLLMにバックトラッキング機構とプログラム解析を統合したROCODEを提案する。 具体的には、生成プロセス中にインクリメンタルエラー検出を行うためにプログラム解析を用いる。 エラーが検出されると、バックトラック機構を起動してロールバック戦略と制約再生をプライミングし、早期にエラーを除去し、正しいベースで連続生成を確実にする。 複数のコード生成ベンチマークの実験により、LOCODEはLLMが生成したエラーを99.1%削減できることが示された。 テストパス率は、最高のベースラインアプローチと比較して最大23.8%向上する。 改定後の基準と比較すると、トークンのコストは19.3%削減される。 さらに,本手法はモデル非依存であり,9つの LLM に対して一貫した改善を実現している。

関連論文リスト

• RGD: Multi-LLM Based Agent Debugger via Refinement and Generation Guidance [0.6062751776009752]
  大規模言語モデル(LLM)は、コード生成タスクにおいて驚くべきポテンシャルを示しています。 LLMはタスク記述に基づいてコードを生成することができるが、精度は限られている。 コード生成と自動デバッグのためのLLMエージェントの新しいアーキテクチャ:Refinement and Guidancebug (RGD)を紹介する。 RGDはコード生成タスクを複数のステップに分割し、より明確なワークフローを確保し、自己回帰とフィードバックに基づいた反復的なコード改善を可能にする。
  論文  参考訳（メタデータ） (2024-10-02T05:07:02Z)
• TRANSAGENT: An LLM-Based Multi-Agent System for Code Translation [16.46292795782835]
  コード翻訳は、ソフトウェアマイグレーション、システムアブレーション、クロスプラットフォーム開発に不可欠である。 従来のルールベースのメソッドは手書きのルールに依存している。 最近では、LLM(Large Language Models)の進歩により、学習ベースのコード翻訳がさらに強化されている。 本稿では,構文誤りや意味的誤りを解消し,LLMに基づくコード翻訳を強化した新しいマルチエージェントシステムTransagENTを提案する。
  論文  参考訳（メタデータ） (2024-09-30T02:53:03Z)
• Combining LLM Code Generation with Formal Specifications and Reactive Program Synthesis [0.7580487359358722]
  大規模言語モデル(LLM)は精度に苦しむが、リスクの高いアプリケーションには適さない。 コード生成を LLM で処理する部分と,形式的なメソッドベースのプログラム合成で処理する部分の2つに分割する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-18T15:59:06Z)
• Fixing Code Generation Errors for Large Language Models [6.137340149146578]
  LLM(Large Language Models)は、ソフトウェア開発のためのソースコードを自動生成するように設計されている。 LLMの生成したコードは、しばしばテストケースをパスせず、エラーを修正するためにかなりの人的努力を必要とする。 LlmFixと呼ばれる3種類のエラーを3段階のプロセスで処理する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-01T09:40:15Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• Evaluating Diverse Large Language Models for Automatic and General Bug Reproduction [12.851941377433285]
  大規模言語モデル(LLM)は自然言語処理やコード生成に適していることが証明されている。 提案手法は,広く使用されているDefects4Jベンチマークにおいて,全バグの約3分の1を再現することができた。
  論文  参考訳（メタデータ） (2023-11-08T08:42:30Z)
• ALGO: Synthesizing Algorithmic Programs with LLM-Generated Oracle Verifiers [60.6418431624873]
  大きな言語モデル(LLM)は、機能記述からコードを実装するのに優れているが、アルゴリズムの問題に悩まされている。 我々は,アルゴリズムプログラムを LLM 生成 Oracle で合成するフレームワーク ALGO を提案し,その生成をガイドし,その正確性を検証する。 実験の結果,ALGOを装着すると,Codexモデルよりも8倍,CodeTよりも2.6倍の1サブミッションパス率が得られることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T00:10:15Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。