論文の概要: ROCODE: Integrating Backtracking Mechanism and Program Analysis in Large Language Models for Code Generation

• arxiv url: http://arxiv.org/abs/2411.07112v1
• Date: Mon, 11 Nov 2024 16:39:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:11:23.160103
• Title: ROCODE: Integrating Backtracking Mechanism and Program Analysis in Large Language Models for Code Generation
• Title（参考訳）: ROCODE:コード生成のための大規模言語モデルにおけるバックトラック機構とプログラム解析の統合
• Authors: Xue Jiang, Yihong Dong, Yongding Tao, Huanyu Liu, Zhi Jin, Wenpin Jiao, Ge Li,
• Abstract要約: 大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 LLMはコード生成時にエラーの蓄積に影響を受けやすい。 コード生成のためのLLMにバックトラック機構とプログラム解析を統合したROCODEを提案する。
• 参考スコア（独自算出の注目度）: 31.363781211927947
• License:
• Abstract: Large language models (LLMs) have achieved impressive performance in code generation recently, offering programmers revolutionary assistance in software development. However, due to the auto-regressive nature of LLMs, they are susceptible to error accumulation during code generation. Once an error is produced, LLMs can merely continue to generate the subsequent code conditioned on it, given their inability to adjust previous outputs. Existing LLM-based approaches typically consider post-revising after code generation, leading to the challenging resolution of accumulated errors and the significant wastage of resources. Ideally, LLMs should rollback and resolve the occurred error in time during code generation, rather than proceed on the basis of the error and wait for post-revising after generation. In this paper, we propose ROCODE, which integrates the backtracking mechanism and program analysis into LLMs for code generation. Specifically, we employ program analysis to perform incremental error detection during the generation process. When an error is detected, the backtracking mechanism is triggered to priming rollback strategies and constraint regeneration, thereby eliminating the error early and ensuring continued generation on the correct basis. Experiments on multiple code generation benchmarks show that ROCODE can significantly reduce the errors generated by LLMs, with a compilation pass rate of 99.1%. The test pass rate is improved by up to 23.8% compared to the best baseline approach. Compared to the post-revising baseline, the token cost is reduced by 19.3%. Moreover, our approach is model-agnostic and achieves consistent improvements across nine representative LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、コード生成において印象的なパフォーマンスを達成し、プログラマがソフトウェア開発において革命的な支援を提供する。 しかし、LLMの自己回帰的な性質のため、コード生成時にエラーの蓄積を受けやすい。 エラーが生成されると、LCMは、以前の出力を調整することができないことを考慮し、後続のコードを生成するだけでよい。 既存のLLMベースのアプローチは、コード生成後のポストリビジョンをよく考えており、蓄積されたエラーの解決とリソースの大幅な浪費に繋がる。 理想的には、LLMはコード生成中に発生したエラーをロールバックして解決するべきだ。 本稿では,コード生成のためのLLMにバックトラッキング機構とプログラム解析を統合したROCODEを提案する。 具体的には、生成プロセス中にインクリメンタルエラー検出を行うためにプログラム解析を用いる。 エラーが検出されると、バックトラック機構を起動してロールバック戦略と制約再生をプライミングし、早期にエラーを除去し、正しいベースで連続生成を確実にする。 複数のコード生成ベンチマークの実験により、LOCODEはLLMが生成したエラーを99.1%削減できることが示された。 テストパス率は、最高のベースラインアプローチと比較して最大23.8%向上する。 改定後の基準と比較すると、トークンのコストは19.3%削減される。 さらに,本手法はモデル非依存であり,9つの LLM に対して一貫した改善を実現している。

関連論文リスト

• Real-time Verification and Refinement of Language Model Text Generation [60.04718679054704]
  大規模言語モデル(LLM)は、幅広い自然言語タスクにおいて顕著な性能を示している。 重要な課題は、時に事実的に誤った答えを生じさせることである。 本稿では,LLM出力の検証と改善の効率化を目的とした新しい手法であるStreaming-VRを提案する。
  論文  参考訳（メタデータ） (2025-01-14T03:59:48Z)
• PromptV: Leveraging LLM-powered Multi-Agent Prompting for High-quality Verilog Generation [9.990225157705966]
  本稿では,制約に対処し,コード生成品質を向上させるための,新しいマルチエージェント・プロンプト学習フレームワークを提案する。 マルチエージェントアーキテクチャは、コードエラー訂正機能を改善しつつ、変性リスクを効果的に軽減できることを示す。
  論文  参考訳（メタデータ） (2024-12-15T01:58:10Z)
• EDA-Aware RTL Generation with Large Language Models [0.7831852829409273]
  LLM(Large Language Models)は、RTLコードを生成するために人気が高まっている。 ゼロショット設定でエラーのないRTLコードを生成することは、最先端のLLMでも非常に難しい。 本稿では,構文と機能的エラーの反復的修正によるRTLコード生成の高速化を目的とした,自己検証型LLM非依存型エージェントフレームワークであるAIvril2を紹介する。
  論文  参考訳（メタデータ） (2024-11-21T00:37:51Z)
• Combining LLM Code Generation with Formal Specifications and Reactive Program Synthesis [0.7580487359358722]
  大規模言語モデル(LLM)は精度に苦しむが、リスクの高いアプリケーションには適さない。 コード生成を LLM で処理する部分と,形式的なメソッドベースのプログラム合成で処理する部分の2つに分割する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-18T15:59:06Z)
• Fixing Function-Level Code Generation Errors for Foundation Large Language Models [6.137340149146578]
  生成エラーに関する実証的研究を行い、その原因の分析を行い、19種類のエラー原因を導出する。 私たちの経験的分析では、これらの3つの原因が直接修正可能であることが示されています。 本稿では,この3種類のエラーを3段階のプロセスで処理するLlmFix法を提案する。
  論文  参考訳（メタデータ） (2024-09-01T09:40:15Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• Evaluating Diverse Large Language Models for Automatic and General Bug Reproduction [12.851941377433285]
  大規模言語モデル(LLM)は自然言語処理やコード生成に適していることが証明されている。 提案手法は,広く使用されているDefects4Jベンチマークにおいて,全バグの約3分の1を再現することができた。
  論文  参考訳（メタデータ） (2023-11-08T08:42:30Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。