論文の概要: Tree-of-Code: A Tree-Structured Exploring Framework for End-to-End Code Generation and Execution in Complex Task Handling

• arxiv url: http://arxiv.org/abs/2412.15305v1
• Date: Thu, 19 Dec 2024 12:31:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:24:37.616965
• Title: Tree-of-Code: A Tree-Structured Exploring Framework for End-to-End Code Generation and Execution in Complex Task Handling
• Title（参考訳）: Tree-of-Code: 複雑なタスク処理におけるエンドツーエンドコード生成と実行のためのツリー構造化探索フレームワーク
• Authors: Ziyi Ni, Yifan Li, Ning Yang, Dou Shen, Pin Lv, Daxiang Dong,
• Abstract要約: Tree-of-Codeは1/4回転未満でCodeActよりも精度を20%近く向上させる。 いくつかのLDMは、マルチターンのCodeActよりも、1ターンのCodeProgramの方がパフォーマンスが良い。
• 参考スコア（独自算出の注目度）: 4.597983734278579
• License:
• Abstract: Solving complex reasoning tasks is a key real-world application of agents. Thanks to the pretraining of Large Language Models (LLMs) on code data, recent approaches like CodeAct successfully use code as LLM agents' action, achieving good results. However, CodeAct greedily generates the next action's code block by relying on fragmented thoughts, resulting in inconsistency and instability. Moreover, CodeAct lacks action-related ground-truth (GT), making its supervision signals and termination conditions questionable in multi-turn interactions. To address these issues, we first introduce a simple yet effective end-to-end code generation paradigm, CodeProgram, which leverages code's systematic logic to align with global reasoning and enable cohesive problem-solving. Then, we propose Tree-of-Code (ToC), which self-grows CodeProgram nodes based on the executable nature of the code and enables self-supervision in a GT-free scenario. Experimental results on two datasets using ten popular zero-shot LLMs show ToC remarkably boosts accuracy by nearly 20% over CodeAct with less than 1/4 turns. Several LLMs even perform better on one-turn CodeProgram than on multi-turn CodeAct. To further investigate the trade-off between efficacy and efficiency, we test different ToC tree sizes and exploration mechanisms. We also highlight the potential of ToC's end-to-end data generation for supervised and reinforced fine-tuning.
• Abstract（参考訳）: 複雑な推論タスクの解決はエージェントの現実世界における重要な応用である。 コードデータに対するLLM(Large Language Models)の事前トレーニングのおかげで、CodeActのような最近のアプローチは、LLMエージェントのアクションとしてコードをうまく利用し、良い結果を得た。 しかし、CodeActは断片化された考えに依存して次のアクションのコードブロックを生成し、一貫性と不安定性をもたらす。 さらに、CodeActは行動関連基盤構造(GT)を欠いているため、マルチターン相互作用においてその監視信号と終了条件が疑問視される。 これらの問題に対処するために、まず、コードの体系的なロジックを活用して、グローバルな推論と整合し、凝集的な問題解決を可能にする、シンプルで効果的なエンドツーエンドコード生成パラダイムであるCodeProgramを紹介します。 そして、コードの実行可能性に基づいてCodeProgramノードを自己グローするTree-of-Code(ToC)を提案し、GTフリーシナリオで自己スーパービジョンを可能にする。 10の人気のあるゼロショットLLMを使用した2つのデータセットの実験結果から、ToCは1/4回転未満のCodeActよりも精度を20%近く向上している。 いくつかのLDMは、マルチターンのCodeActよりも、1ターンのCodeProgramの方がパフォーマンスが良い。 さらに,有効性と効率のトレードオフについて検討するため,異なるToC木の大きさと探索機構を検証した。 また、教師付きおよび強化された微調整のためのToCのエンドツーエンドデータ生成の可能性についても強調する。

関連論文リスト

• CodeCoR: An LLM-Based Self-Reflective Multi-Agent Framework for Code Generation [10.048098631259876]
  コード生成は、自然言語で書かれた要求を自動的に満たすコードを生成することを目的としている。 ChatGPTのような大きな言語モデル(LLM)は、生成されたコードの構文的および意味論的正確性を保証するのに失敗する。 我々は,各エージェントとそのコラボレーションの有効性を評価する,自己表現型マルチエージェントフレームワークであるCodeCoRを提案する。
  論文  参考訳（メタデータ） (2025-01-14T03:21:10Z)
• Tree-of-Code: A Hybrid Approach for Robust Complex Task Planning and Execution [3.229241113813517]
  本稿では,toC(Tree-of-Code)と呼ばれる新しい手法を提案する。 本フレームワークでは,各最終的なコード実行結果を決定ツリーのノードとして扱う。
  論文  参考訳（メタデータ） (2024-12-18T08:47:17Z)
• CodeTree: Agent-guided Tree Search for Code Generation with Large Language Models [106.11371409170818]
  大規模言語モデル(LLM)は、生成されたコードを自己定義し、自律的に改善する機能を持つエージェントとして機能する。 コード生成プロセスの異なる段階における探索空間を効率的に探索するLLMエージェントのためのフレームワークであるCodeTreeを提案する。 具体的には、異なるコーディング戦略を明示的に探求し、対応するコーディングソリューションを生成し、その後、ソリューションを洗練するために統合されたツリー構造を採用しました。
  論文  参考訳（メタデータ） (2024-11-07T00:09:54Z)
• VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
  大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。 バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。 VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
  論文  参考訳（メタデータ） (2024-06-11T16:15:06Z)
• Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
  本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。 その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。 論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
  論文  参考訳（メタデータ） (2024-04-11T08:30:46Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Executable Code Actions Elicit Better LLM Agents [76.95566120678787]
  この研究は、Pythonコードを使用して、Large Language Model(LLM)エージェントのアクションを統一されたアクション空間(CodeAct)に統合することを提案する。 Pythonインタプリタと統合されたCodeActは、コードアクションを実行し、事前アクションを動的に修正したり、マルチターンインタラクションを通じて新しい観察に新しいアクションを発行することができる。 CodeActのパフォーマンス向上は、解釈可能なコードを実行し、自然言語を使ってユーザとコラボレーションすることで、環境と対話するオープンソースのLLMエージェントを構築する動機となります。
  論文  参考訳（メタデータ） (2024-02-01T21:38:58Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。