論文の概要: RethinkMCTS: Refining Erroneous Thoughts in Monte Carlo Tree Search for Code Generation

• arxiv url: http://arxiv.org/abs/2409.09584v2
• Date: Fri, 24 Oct 2025 08:10:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:14.728843
• Title: RethinkMCTS: Refining Erroneous Thoughts in Monte Carlo Tree Search for Code Generation
• Title（参考訳）: RethinkMCTS: コード生成のためのモンテカルロ木探索における誤った考えの修正
• Authors: Qingyao Li, Wei Xia, Kounianhua Du, Xinyi Dai, Ruiming Tang, Yasheng Wang, Yong Yu, Weinan Zhang,
• Abstract要約: コード生成の推論プロセスを探求し、洗練するフレームワークであるRethinkMCTSを提案する。 具体的には、コード生成前の思考の検索にMCTSを使用し、再考と呼ばれる改善メカニズムをMCTSに統合する。 RethinkMCTSは、従来の検索ベースおよびフィードバック強化コード生成ベースラインよりも優れていることを実証する。
• 参考スコア（独自算出の注目度）: 71.88883580383039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tree search methods have demonstrated impressive performance in code generation. Previous methods combine tree search with reflection that summarizes past mistakes to achieve iterative improvement. However, these methods face significant challenges. First, they search directly within the code language space, neglecting the underlying reasoning process critical for effective code generation. Second, reflection-based approaches merely accumulate historical errors in memory without providing correct reasoning pathways, making it difficult for subsequent search iterations to identify optimal solutions, resulting in decreased search quality. In this work, we propose RethinkMCTS, a framework that systematically explores and refines the reasoning process for code generation. Specifically, we employ MCTS to search for thoughts before code generation and integrate MCTS with a refinement mechanism called rethink, which incorporates fine-grained code execution feedback to refine erroneous thoughts during the search. It ensures the search path aligns with better reasoning, improving overall search quality. Through extensive experiments, we demonstrate that RethinkMCTS outperforms previous search-based and feedback-enhanced code generation baselines.
• Abstract（参考訳）: 木探索法はコード生成において顕著な性能を示した。 従来手法では, 木探索と過去の誤りを要約したリフレクションを組み合わせることで反復的改善を実現していた。 しかし、これらの手法は重大な課題に直面している。 まず、コード言語空間内で直接検索し、効果的なコード生成に不可欠な基本的な推論プロセスを無視します。 第二に、リフレクションに基づくアプローチは、正しい推論経路を提供することなく、記憶に過去の誤りを蓄積するだけであり、その後の探索繰り返しが最適解を特定するのが難しくなり、結果として検索品質が低下する。 本研究では,コード生成の推論プロセスを体系的に探求し,洗練するフレームワークであるRethinkMCTSを提案する。 具体的には、コード生成前の思考の検索にMCTSを使用し、再考(rethink)と呼ばれる精細なコード実行フィードバックを組み込んで、検索中の誤った思考を精査するメカニズムをMCTSに統合する。 これにより、検索パスがより良い推論と整合し、全体的な検索品質が向上する。 広範な実験を通じて、RethinkMCTSは従来の検索ベースおよびフィードバック強化されたコード生成ベースラインより優れていることを示す。

関連論文リスト

• LLM-First Search: Self-Guided Exploration of the Solution Space [29.780554400938335]
  大規模言語モデル(LLM)は、テスト時間計算の増加による推論と計画の大幅な改善を示している。 我々は,新しいTextitLLM Self-Guided Search法である textbfLLM-First Search (LFS) を提案する。
  論文  参考訳（メタデータ） (2025-06-05T16:27:49Z)
• CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
  CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。 我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。 私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
  論文  参考訳（メタデータ） (2024-11-19T16:54:45Z)
• Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• CodeTree: Agent-guided Tree Search for Code Generation with Large Language Models [106.11371409170818]
  大規模言語モデル(LLM)は、生成されたコードを自己定義し、自律的に改善する機能を持つエージェントとして機能する。 コード生成プロセスの異なる段階における探索空間を効率的に探索するLLMエージェントのためのフレームワークであるCodeTreeを提案する。 具体的には、異なるコーディング戦略を明示的に探求し、対応するコーディングソリューションを生成し、その後、ソリューションを洗練するために統合されたツリー構造を採用しました。
  論文  参考訳（メタデータ） (2024-11-07T00:09:54Z)
• Scattered Forest Search: Smarter Code Space Exploration with LLMs [55.71665969800222]
  Scattered Forest Searchを導入し,ソリューションを探索しながら解の多様性を高める。 HumanEval、MBPP、APPS、CodeContests、Leetcodeの実験では、大幅なパフォーマンス向上が示されている。
  論文  参考訳（メタデータ） (2024-10-22T01:58:29Z)
• LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
  本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。 GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
  論文  参考訳（メタデータ） (2024-06-29T05:14:04Z)
• Autonomous Tree-search Ability of Large Language Models [58.68735916408101]
  大規模言語モデルは、高度なプロンプト技術で顕著な推論能力に優れています。 近年の研究では、LLMがより困難な推論タスクを解くために受動的木探索を行えるように、検索ロジックを定義するために外部プログラムを活用することが提案されている。 我々は,LLMの自律木探索能力という新しい概念を提案し,正しい解を求める探索軌跡を含む応答を自動生成する。
  論文  参考訳（メタデータ） (2023-10-14T14:14:38Z)
• Constructing Tree-based Index for Efficient and Effective Dense Retrieval [26.706985694158384]
  JTRは、TReeベースのインデックスとクエリエンコーディングの合同最適化の略である。 我々は、木に基づくインデックスとクエリエンコーダをエンドツーエンドにトレーニングするために、新しい統合されたコントラスト学習損失を設計する。 実験結果から,JTRは高いシステム効率を維持しつつ,検索性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-04-24T09:25:39Z)
• Zero-Shot Retrieval with Search Agents and Hybrid Environments [8.017306481455778]
  現在の言語モデルは、伝統的な用語ベースの検索と組み合わせて、シンボリックなクエリ再構成ポリシーを学習することができるが、より優れたニューラル検索には及ばない。 本稿では,2つのエンコーダを経由した1回目検索の後に,個別のクエリ精算操作を受け入れるハイブリッド環境に,従来の学習環境を拡張した。 BEIRタスクの実験では、動作クローンによって訓練されたサーチエージェントが、二重エンコーダレシーバーとクロスエンコーダリランカの組み合わせに基づいて、基礎となるサーチシステムより優れていることが示された。
  論文  参考訳（メタデータ） (2022-09-30T13:50:25Z)
• Searching for a Search Method: Benchmarking Search Algorithms for Generating NLP Adversarial Examples [10.993342896547691]
  自然言語処理(NLP)タスクの逆例を生成するために,複数のブラックボックス探索アルゴリズムの動作について検討した。 検索アルゴリズム,検索空間,検索予算の3つの要素を詳細に分析する。
  論文  参考訳（メタデータ） (2020-09-09T17:04:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。