論文の概要: Let's Revise Step-by-Step: A Unified Local Search Framework for Code Generation with LLMs

• arxiv url: http://arxiv.org/abs/2508.07434v1
• Date: Sun, 10 Aug 2025 17:11:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.857198
• Title: Let's Revise Step-by-Step: A Unified Local Search Framework for Code Generation with LLMs
• Title（参考訳）: ステップバイステップ: LLMによるコード生成のための統一ローカル検索フレームワーク
• Authors: Zhiyi Lyu, Jianguo Huang, Yanchen Deng, Steven Hoi, Bo An,
• Abstract要約: 本稿では,ステップバイステップのコード修正を効果的に行う統一的なローカル検索フレームワークを提案する。 具体的には、ReLocは4つの主要なアルゴリズムコンポーネントを通して、一連のローカルリビジョンを探索する。 そこで我々は,修正距離に基づいてコード品質を評価できる特化リビジョン報酬モデルを構築し,微粒な選好を生成する。
• 参考スコア（独自算出の注目度）: 16.818072348542923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) with inference-time scaling techniques show promise for code generation, yet face notable efficiency and scalability challenges. Construction-based tree-search methods suffer from rapid growth in tree size, high token consumption, and lack of anytime property. In contrast, improvement-based methods offer better performance but often struggle with uninformative reward signals and inefficient search strategies. In this work, we propose \textbf{ReLoc}, a unified local search framework which effectively performs step-by-step code revision. Specifically, ReLoc explores a series of local revisions through four key algorithmic components: initial code drafting, neighborhood code generation, candidate evaluation, and incumbent code updating, each of which can be instantiated with specific decision rules to realize different local search algorithms such as Hill Climbing (HC) or Genetic Algorithm (GA). Furthermore, we develop a specialized revision reward model that evaluates code quality based on revision distance to produce fine-grained preferences that guide the local search toward more promising candidates. Finally, our extensive experimental results demonstrate that our approach achieves superior performance across diverse code generation tasks, significantly outperforming both construction-based tree search as well as the state-of-the-art improvement-based code generation methods.
• Abstract（参考訳）: 推論時間スケーリング技術を備えた大規模言語モデル(LLM)は、コード生成を約束するが、顕著な効率性とスケーラビリティの課題に直面している。 建設をベースとした木探索手法は,木の大きさの急激な増加,高いトークン消費,時間的特性の欠如に悩まされている。 対照的に、改善ベースの手法はより良い性能を提供するが、しばしば非形式的な報酬信号と非効率的な探索戦略に苦しむ。 本研究では,ステップバイステップのコード修正を効果的に行う統一ローカル検索フレームワークである \textbf{ReLoc} を提案する。 具体的には、ReLocは、初期コードドラフト、近傍コード生成、候補評価、既存のコード更新の4つの主要なアルゴリズムコンポーネントを通じて、一連のローカルリビジョンを探索し、それぞれに特定の決定ルールをインスタンス化して、ヒルクライミング(HC)や遺伝的アルゴリズム(GA)のような異なるローカル検索アルゴリズムを実現する。 さらに,リビジョン距離に基づいたコード品質評価モデルを構築し,より有望な候補に向けて局所探索を誘導するきめ細かい選好を生成する。 最後に,提案手法は多様なコード生成タスクにまたがって優れた性能を達成し,構築ベースツリー検索と最先端の改良ベースコード生成手法の両方を著しく上回っていることを示す。

関連論文リスト

• MaxCode: A Max-Reward Reinforcement Learning Framework for Automated Code Optimization [44.27213441671799]
  大きな言語モデル(LLM)は、一般的なコーディングタスクにおいて強力な能力を示すが、コードの最適化には2つの重要な課題に直面する。 本研究では,LLMがよりよい解を見つけるための推論時間探索アルゴリズムについて検討する。 MaxCodeと呼ばれる我々の手法は、マックス・リワード強化学習フレームワークの下で既存の検索方法を統一する。
  論文  参考訳（メタデータ） (2026-01-09T02:21:28Z)
• ReCode: Improving LLM-based Code Repair with Fine-Grained Retrieval-Augmented Generation [26.836612605244596]
  本稿では,高精度かつ効率的なコード修復を行うための,詳細な検索強化型テキスト内学習フレームワークReCodeを提案する。 ReCodeは、(1)予備アルゴリズム型予測を用いて検索空間を狭めるアルゴリズム対応検索戦略、(2)コードとテキストの入力を別々に処理するモジュール型デュアルエンコーダアーキテクチャである。 RACodeBenchと競合するプログラミングデータセットの実験結果から、ReCodeは推論コストを大幅に削減し、高い修復精度を実現することが示された。
  論文  参考訳（メタデータ） (2025-09-02T13:58:48Z)
• Alignment with Fill-In-the-Middle for Enhancing Code Generation [56.791415642365415]
  コードスニペットを小さな粒度のブロックに分割し,同じテストケースからより多様なDPOペアを生成する手法を提案する。 提案手法は,HumanEval (+), MBPP (+), APPS, LiveCodeBench, BigCodeBenchといったベンチマークデータセットの実験によって検証された,コード生成タスクの大幅な改善を示す。
  論文  参考訳（メタデータ） (2025-08-27T03:15:53Z)
• LSR-MCTS: Alleviating Long Range Dependency in Code Generation [42.10272627826627]
  大規模言語モデル(LLM)は、コード生成タスクの開発を著しく促進している。 本稿では,MCTS を利用した textbfLSR-MCTS アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:03:25Z)
• CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
  CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。 我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。 私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
  論文  参考訳（メタデータ） (2024-11-19T16:54:45Z)
• Chain-of-Programming (CoP) : Empowering Large Language Models for Geospatial Code Generation [2.6026969939746705]
  本稿では,コード生成プロセスを5段階に分解するプログラミングフレームワークを提案する。 このフレームワークには、共有情報プール、知識ベース検索、ユーザフィードバック機構が含まれている。 生成されたコードの論理的明確性、構文的正確性、実行可能性を大幅に改善する。
  論文  参考訳（メタデータ） (2024-11-16T09:20:35Z)
• CodeTree: Agent-guided Tree Search for Code Generation with Large Language Models [106.11371409170818]
  大規模言語モデル(LLM)は、生成されたコードを自己定義し、自律的に改善する機能を持つエージェントとして機能する。 コード生成プロセスの異なる段階における探索空間を効率的に探索するLLMエージェントのためのフレームワークであるCodeTreeを提案する。 具体的には、異なるコーディング戦略を明示的に探求し、対応するコーディングソリューションを生成し、その後、ソリューションを洗練するために統合されたツリー構造を採用しました。
  論文  参考訳（メタデータ） (2024-11-07T00:09:54Z)
• RethinkMCTS: Refining Erroneous Thoughts in Monte Carlo Tree Search for Code Generation [71.88883580383039]
  コード生成の推論プロセスを探求し、洗練するフレームワークであるRethinkMCTSを提案する。 具体的には、コード生成前の思考の検索にMCTSを使用し、再考と呼ばれる改善メカニズムをMCTSに統合する。 RethinkMCTSは、従来の検索ベースおよびフィードバック強化コード生成ベースラインよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2024-09-15T02:07:28Z)
• DOCE: Finding the Sweet Spot for Execution-Based Code Generation [69.5305729627198]
  本稿では,候補生成,$n$-best再ランク,最小ベイズリスク(MBR)復号化,自己老化などを含む包括的フレームワークを提案する。 本研究は,実行ベースメソッドの重要性と,実行ベースメソッドと実行フリーメソッドとの差を明らかにする。
  論文  参考訳（メタデータ） (2024-08-25T07:10:36Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。