論文の概要: ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration

• arxiv url: http://arxiv.org/abs/2412.05366v1
• Date: Fri, 06 Dec 2024 19:00:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:57:09.995545
• Title: ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration
• Title（参考訳）: ExploraCoder: 計画と連鎖探索を通じて、見えない複数のAPIのためのコード生成を改善する
• Authors: Yunkun Wang, Yue Zhang, Zhen Qin, Chen Zhi, Binhua Li, Fei Huang, Yongbin Li, Shuiguang Deng,
• Abstract要約: ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 ExploraCoderは,事前のAPI知識を欠いたモデルのパフォーマンスを著しく向上させ,NAGアプローチの11.24%,pass@10の事前トレーニングメソッドの14.07%を絶対的に向上させることを示す。
• 参考スコア（独自算出の注目度）: 70.26807758443675
• License:
• Abstract: Through training on publicly available source code libraries, large language models (LLMs) can invoke multiple encapsulated APIs to solve complex programming problems. However, existing models inherently cannot generalize to use APIs that are unseen in their training corpora. As libraries continuously evolve, it becomes impractical to exhaustively retrain LLMs with new API knowledge. This limitation hampers LLMs from solving problems which require newly introduced or privately maintained libraries. Human programmers often explore unfamiliar APIs by writing experimental code before invoking them for a more complex problem. Inspired by this behavior, we propose , a training-free framework that empowers LLMs to invoke multiple unseen APIs in code solution by (1) planning a complex problem into several API invocation subtasks, and (2) exploring correct API usage through a novel chain-of-API-exploration. Concretely, ExploraCoder guides the LLM to iteratively generate several experimental API invocations for each simple subtask, where the promising execution experience are exploited by subsequent subtasks. This forms a chained exploration trace that ultimately guides LLM in generating the final solution. We evaluate ExploraCoder on Torchdata-Github benchmark as well as a newly constructed benchmark that involves more complex API interactions. Experimental results demonstrate that ExploraCoder significantly improves performance for models lacking prior API knowledge, achieving an absolute increase of 11.24% over niave RAG approaches and 14.07% over pretraining methods in pass@10. Moreover, the integration of a self-debug mechanism further boosts ExploraCoder's performance on more challenging tasks. Comprehensive ablation and case studies provide further insights into the effectiveness of ExploraCoder.
• Abstract（参考訳）: 公開されているソースコードライブラリのトレーニングを通じて、大規模言語モデル(LLM)は複雑なプログラミング問題を解決するために複数のカプセル化されたAPIを呼び出すことができる。 しかし、既存のモデルは本質的に、トレーニングコーパスに見えないAPIを使うように一般化することはできない。 ライブラリが継続的に進化するにつれて、新しいAPI知識でLLMを徹底的に再訓練することは現実的ではない。 この制限により、LSMは新しく導入されたり、プライベートに保守されたライブラリを必要とする問題の解決を妨げている。 ヒューマンプログラマは、より複雑な問題を起こす前に、実験的なコードを書くことで、よく知らないAPIを探索する。 この振る舞いに触発されて,(1)複雑な問題を複数のAPI呼び出しサブタスクに計画し,(2)新しいAPIチェーン・オブ・API探索を通じて適切なAPI使用を探索することによって,LCMがコードソリューションで複数の未確認APIを起動することを可能にするトレーニングフリーフレームワークを提案する。 具体的には、ExploreaCoderはLSMをガイドして、各単純なサブタスクに対していくつかの実験的なAPI呼び出しを反復的に生成する。 これは連鎖した探索トレースを形成し、最終解の生成において最終的に LLM を導く。 我々は、Torchdata-GithubベンチマークでExploreaCoderを評価し、さらに複雑なAPIインタラクションを含む、新しく構築されたベンチマークを評価した。 実験の結果、ExploreaCoderは、事前のAPI知識を欠いたモデルのパフォーマンスを大幅に改善し、Nave RAGアプローチよりも11.24%、pass@10の事前トレーニングメソッドよりも14.07%向上した。 さらに、自己デバッグメカニズムの統合により、より困難なタスクにおけるExploreaCoderのパフォーマンスがさらに向上する。 包括的アブレーションとケーススタディはExploreaCoderの有効性に関するさらなる洞察を提供する。

関連論文リスト

• AppBench: Planning of Multiple APIs from Various APPs for Complex User Instruction [24.67142048995415]
  大きな言語モデル(LLM)は、多用途外部APIと接続することで、現実世界と対話することができる。 textttAppBench は LLM が様々なソースから複数の API を計画・実行できる能力を評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2024-10-10T04:03:13Z)
• A Comprehensive Framework for Evaluating API-oriented Code Generation in Large Language Models [14.665460257371164]
  GitHub CopilotやChatGPTのような大規模言語モデル(LLM)は、コード生成の強力なツールとして登場した。 API指向コード生成におけるLLMの機能を評価するために設計されたフレームワークであるAutoAPIEvalを提案する。
  論文  参考訳（メタデータ） (2024-09-23T17:22:09Z)
• WorldAPIs: The World Is Worth How Many APIs? A Thought Experiment [49.00213183302225]
  本稿では, wikiHow 命令をエージェントの配置ポリシーに基礎付けることで, 新たな API を創出するフレームワークを提案する。 大規模言語モデル (LLM) の具体化計画における近年の成功に触発されて, GPT-4 のステアリングを目的とした数発のプロンプトを提案する。
  論文  参考訳（メタデータ） (2024-07-10T15:52:44Z)
• A Solution-based LLM API-using Methodology for Academic Information Seeking [49.096714812902576]
  SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。 ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。 その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
  論文  参考訳（メタデータ） (2024-05-24T02:44:14Z)
• Are Human Rules Necessary? Generating Reusable APIs with CoT Reasoning and In-Context Learning [14.351476383642016]
  そこで我々は,Stack OverflowコードスニペットのAPIzationを自動的に実行する,Code2APIという新しいアプローチを提案する。 Code2APIは、追加のモデルトレーニングや手作業のルールを必要としない。 他の外部ツールに頼ることなく、パーソナルコンピュータに簡単にデプロイできる。
  論文  参考訳（メタデータ） (2024-05-06T14:22:17Z)
• Private-Library-Oriented Code Generation with Large Language Models [52.73999698194344]
  本稿では,大規模言語モデル(LLM)をプライベートライブラリのコード生成に活用することに焦点を当てる。 プログラマがプライベートコードを書く過程をエミュレートする新しいフレームワークを提案する。 TorchDataEval、TorchDataComplexEval、MonkeyEval、BeatNumEvalの4つのプライベートライブラリベンチマークを作成しました。
  論文  参考訳（メタデータ） (2023-07-28T07:43:13Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• SequeL: A Continual Learning Library in PyTorch and JAX [50.33956216274694]
  SequeLは継続学習のためのライブラリで、PyTorchとJAXフレームワークの両方をサポートする。 それは、正規化ベースのアプローチ、リプレイベースのアプローチ、ハイブリッドアプローチを含む、幅広い連続学習アルゴリズムのための統一インターフェースを提供する。 私たちはSequeLをオープンソースライブラリとしてリリースし、研究者や開発者が自身の目的で簡単にライブラリを実験し拡張することができます。
  論文  参考訳（メタデータ） (2023-04-21T10:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。