論文の概要: RethinkMCTS: Refining Erroneous Thoughts in Monte Carlo Tree Search for Code Generation

• arxiv url: http://arxiv.org/abs/2409.09584v1
• Date: Sun, 15 Sep 2024 02:07:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 20:07:53.473821
• Title: RethinkMCTS: Refining Erroneous Thoughts in Monte Carlo Tree Search for Code Generation
• Title（参考訳）: RethinkMCTS: コード生成のためのモンテカルロ木探索における誤った考えの修正
• Authors: Qingyao Li, Wei Xia, Kounianhua Du, Xinyi Dai, Ruiming Tang, Yasheng Wang, Yong Yu, Weinan Zhang,
• Abstract要約: 本稿では,モンテカルロ木探索(MCTS)アルゴリズムを用いて,コードを生成する前に思考レベルの探索を行うRethinkMCTSを紹介する。 我々は,検索中の誤った思考を洗練させるために,微動コード実行フィードバックからの言語フィードバックを構築した。 RethinkMCTSは従来の検索ベースおよびフィードバックベースのコード生成ベースラインよりも優れていることを実証する。
• 参考スコア（独自算出の注目度）: 65.5353313491402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents enhanced by tree search algorithms have yielded notable performances in code generation. However, current search algorithms in this domain suffer from low search quality due to several reasons: 1) Ineffective design of the search space for the high-reasoning demands of code generation tasks, 2) Inadequate integration of code feedback with the search algorithm, and 3) Poor handling of negative feedback during the search, leading to reduced search efficiency and quality. To address these challenges, we propose to search for the reasoning process of the code and use the detailed feedback of code execution to refine erroneous thoughts during the search. In this paper, we introduce RethinkMCTS, which employs the Monte Carlo Tree Search (MCTS) algorithm to conduct thought-level searches before generating code, thereby exploring a wider range of strategies. More importantly, we construct verbal feedback from fine-grained code execution feedback to refine erroneous thoughts during the search. This ensures that the search progresses along the correct reasoning paths, thus improving the overall search quality of the tree by leveraging execution feedback. Through extensive experiments, we demonstrate that RethinkMCTS outperforms previous search-based and feedback-based code generation baselines. On the HumanEval dataset, it improves the pass@1 of GPT-3.5-turbo from 70.12 to 89.02 and GPT-4o-mini from 87.20 to 94.51. It effectively conducts more thorough exploration through thought-level searches and enhances the search quality of the entire tree by incorporating rethink operation.
• Abstract（参考訳）: 木探索アルゴリズムによって強化されたLLMエージェントは、コード生成において顕著な性能を得た。 しかし、この領域の現在の検索アルゴリズムは、いくつかの理由により、検索品質の低さに悩まされている。 1)コード生成タスクの高レベル要求に対する検索空間の非効率設計 2)コードフィードバックの検索アルゴリズムとの不十分な統合 3) 探索中の負のフィードバックの少ない処理により, 探索効率と品質が低下した。 これらの課題に対処するために,コードの推論過程を探索し,コード実行の詳細なフィードバックを用いて,検索中の誤った思考を洗練することを提案する。 本稿では,モンテカルロ木探索(MCTS)アルゴリズムを用いて,コードを生成する前に思考レベルの探索を行い,より広い範囲の戦略を探索するRethinkMCTSを紹介する。 さらに,詳細なコード実行フィードバックから言葉によるフィードバックを構築し,検索中に誤った考えを洗練させる。 これにより、正しい推論経路に沿って探索が進行することを保証し、実行フィードバックを活用することにより、ツリー全体の検索品質を改善することができる。 大規模な実験を通じて、RethinkMCTSは従来の検索ベースおよびフィードバックベースのコード生成ベースラインより優れていることを示す。 HumanEvalデータセットでは、GPT-3.5-turboのpass@1を70.12から89.02に、GPT-4o-miniを87.20から94.51に改善している。 思考レベルの探索を通じてより徹底的な探索を効果的に行い、再考操作を取り入れて全体の探索品質を高める。

関連論文リスト

• CodeTree: Agent-guided Tree Search for Code Generation with Large Language Models [91.15135237584771]
  大規模言語モデル(LLM)は、生成されたコードを自己定義し、自律的に改善する機能を持つエージェントとして機能する。 コード生成プロセスの異なる段階における探索空間を効率的に探索するLLMエージェントのためのフレームワークであるCodeTreeを提案する。 具体的には、異なるコーディング戦略を明示的に探求し、対応するコーディングソリューションを生成し、その後、ソリューションを洗練するために統合されたツリー構造を採用しました。
  論文  参考訳（メタデータ） (2024-11-07T00:09:54Z)
• Tree Search for Language Model Agents [69.43007235771383]
  対話型Web環境での探索と多段階計画を行うために,LMエージェントの推論時探索アルゴリズムを提案する。 我々のアプローチは、実環境空間内で機能する最優先木探索の一形態である。 現実的なWebタスクにおいて有効性を示すLMエージェントのための最初の木探索アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-01T17:07:55Z)
• LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
  本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。 GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
  論文  参考訳（メタデータ） (2024-06-29T05:14:04Z)
• Autonomous Tree-search Ability of Large Language Models [58.68735916408101]
  大規模言語モデルは、高度なプロンプト技術で顕著な推論能力に優れています。 近年の研究では、LLMがより困難な推論タスクを解くために受動的木探索を行えるように、検索ロジックを定義するために外部プログラムを活用することが提案されている。 我々は,LLMの自律木探索能力という新しい概念を提案し,正しい解を求める探索軌跡を含む応答を自動生成する。
  論文  参考訳（メタデータ） (2023-10-14T14:14:38Z)
• Constructing Tree-based Index for Efficient and Effective Dense Retrieval [26.706985694158384]
  JTRは、TReeベースのインデックスとクエリエンコーディングの合同最適化の略である。 我々は、木に基づくインデックスとクエリエンコーダをエンドツーエンドにトレーニングするために、新しい統合されたコントラスト学習損失を設計する。 実験結果から,JTRは高いシステム効率を維持しつつ,検索性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-04-24T09:25:39Z)
• Zero-Shot Retrieval with Search Agents and Hybrid Environments [8.017306481455778]
  現在の言語モデルは、伝統的な用語ベースの検索と組み合わせて、シンボリックなクエリ再構成ポリシーを学習することができるが、より優れたニューラル検索には及ばない。 本稿では,2つのエンコーダを経由した1回目検索の後に,個別のクエリ精算操作を受け入れるハイブリッド環境に,従来の学習環境を拡張した。 BEIRタスクの実験では、動作クローンによって訓練されたサーチエージェントが、二重エンコーダレシーバーとクロスエンコーダリランカの組み合わせに基づいて、基礎となるサーチシステムより優れていることが示された。
  論文  参考訳（メタデータ） (2022-09-30T13:50:25Z)
• Accelerating Code Search with Deep Hashing and Code Classification [64.3543949306799]
  コード検索とは、自然言語クエリに基づいてソースコードコーパスから再利用可能なコードスニペットを検索することである。 深層ハッシュとコード分類を用いたコード検索を高速化する新しい手法CoSHCを提案する。
  論文  参考訳（メタデータ） (2022-03-29T07:05:30Z)
• Searching for a Search Method: Benchmarking Search Algorithms for Generating NLP Adversarial Examples [10.993342896547691]
  自然言語処理(NLP)タスクの逆例を生成するために,複数のブラックボックス探索アルゴリズムの動作について検討した。 検索アルゴリズム,検索空間,検索予算の3つの要素を詳細に分析する。
  論文  参考訳（メタデータ） (2020-09-09T17:04:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。