論文の概要: ToolCoder: Teach Code Generation Models to use API search tools

• arxiv url: http://arxiv.org/abs/2305.04032v5
• Date: Mon, 11 Sep 2023 06:33:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 12:04:22.643515
• Title: ToolCoder: Teach Code Generation Models to use API search tools
• Title（参考訳）: toolcoder: コード生成モデルにapi検索ツールの使用を教える
• Authors: Kechi Zhang, Huangzhao Zhang, Ge Li, Jia Li, Zhuo Li, Zhi Jin
• Abstract要約: コード生成とAPI選択を支援するために,既存のモデルにAPI検索ツールを統合する新しいアプローチであるToolCoderを提案する。 実験の結果,ToolCoderは,公開およびプライベートの5つのライブラリコード生成ベンチマークにおいて,優れたパフォーマンスと一般化を示すことがわかった。
• 参考スコア（独自算出の注目度）: 44.370920906850024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatically generating source code from natural language descriptions has been a growing field of research in recent years. However, current large-scale code generation models often encounter difficulties when selecting appropriate APIs for specific contexts. These models may generate APIs that do not meet requirements or refer to non-existent APIs in third-party libraries, especially for lesser-known or private libraries. Inspired by the process of human developers using tools to search APIs, we propose ToolCoder, a novel approach that integrates API search tools with existing models to assist in code generation and API selection. To teach our model to use tools, we introduce an automated data annotation method using ChatGPT to add tool usage information into the source code data and fine-tune code generation models. During inference, we integrate API search tools into the generation process so that our model can automatically use the search tool to get suggestions when selecting an API. Our experimental results demonstrate that ToolCoder exhibits excellent performance and generalization across five public and private library code generation benchmarks, with at least 6.21\% improvement on average pass@1 metrics and 9.64\% improvement on average pass@10 metrics compared to state-of-the-art methods. Furthermore, we show that our relatively small ToolCoder model is comparable to one of the current best models, GPT-3.5, highlighting the potential of incorporating programming tools into the code generation process.
• Abstract（参考訳）: 近年、自然言語記述からソースコードを自動的に生成する研究が増えている。 しかし、現在の大規模コード生成モデルは、特定のコンテキストに対して適切なapiを選択するときにしばしば困難に直面する。 これらのモデルは、要件を満たしていないAPIを生成したり、サードパーティのライブラリで存在しないAPIを参照する。 ツールを使ってAPIを検索する人間のプロセスにインスパイアされた私たちは、コード生成とAPI選択を支援するために、API検索ツールを既存のモデルに統合する新しいアプローチであるToolCoderを提案する。 ツールの使用方法を教えるため,ChatGPTを用いた自動データアノテーション手法を導入し,ソースコードデータと微調整コード生成モデルにツール使用情報を追加する。 推論中、我々はAPI検索ツールを生成プロセスに統合し、モデルが自動的に検索ツールを使用してAPIを選択することができるようにします。 実験の結果,ToolCoderは5つの公開およびプライベートなライブラリコード生成ベンチマークで優れたパフォーマンスと一般化を示し,平均パス@1メトリクスでは少なくとも6.21倍,平均パス@10メトリクスでは9.64倍の改善があった。 さらに、我々の比較的小さなToolCoderモデルは、コード生成プロセスにプログラミングツールを組み込む可能性を強調し、現在の最高のモデルであるGPT-3.5に匹敵することを示している。

関連論文リスト

• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• Are Human Rules Necessary? Generating Reusable APIs with CoT Reasoning and In-Context Learning [14.351476383642016]
  そこで我々は,Stack OverflowコードスニペットのAPIzationを自動的に実行する,Code2APIという新しいアプローチを提案する。 Code2APIは、追加のモデルトレーニングや手作業のルールを必要としない。 他の外部ツールに頼ることなく、パーソナルコンピュータに簡単にデプロイできる。
  論文  参考訳（メタデータ） (2024-05-06T14:22:17Z)
• AnyTool: Self-Reflective, Hierarchical Agents for Large-Scale API Calls [30.792186243538037]
  我々はAnyToolを紹介した。AnyToolは巨大な言語モデルエージェントで、ユーザクエリに対処する膨大なツールの利用に革命をもたらすように設計されている。 Rapid APIから16,000以上のAPIを使用し、これらのAPIのサブセットがクエリを解決できると仮定して運用しています。 AnyToolには,階層構造を持つAPIレトリバー,選択したAPI候補セットを使用したユーザクエリの解決を目的とした解決器,自己反映機構という,3つの要素が含まれている。
  論文  参考訳（メタデータ） (2024-02-06T18:59:57Z)
• ModelScope-Agent: Building Your Customizable Agent System with Open-source Large Language Models [74.64651681052628]
  本稿では,オープンソースのLCMをコントローラとする実世界のアプリケーションのためのカスタマイズ可能なエージェントフレームワークであるModelScope-Agentを紹介する。 ユーザフレンドリーなシステムライブラリを提供し、カスタマイズ可能なエンジン設計により、複数のオープンソースLLMでモデルトレーニングをサポートする。 ツール使用データ収集、ツール検索、ツール登録、メモリ制御、カスタマイズされたモデルトレーニング、評価にまたがる包括的なフレームワークが提案されている。
  論文  参考訳（メタデータ） (2023-09-02T16:50:30Z)
• ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs [104.37772295581088]
  オープンソースの大規模言語モデル(LLM)、例えばLLaMAは、ツール使用能力に大きく制限されている。 データ構築、モデルトレーニング、評価を含む汎用ツールであるToolLLMを紹介する。 ツール使用のためのインストラクションチューニングフレームワークであるToolBenchを,ChatGPTを使って自動構築する。
  論文  参考訳（メタデータ） (2023-07-31T15:56:53Z)
• Private-Library-Oriented Code Generation with Large Language Models [52.73999698194344]
  本稿では,大規模言語モデル(LLM)をプライベートライブラリのコード生成に活用することに焦点を当てる。 プログラマがプライベートコードを書く過程をエミュレートする新しいフレームワークを提案する。 TorchDataEval、TorchDataComplexEval、MonkeyEval、BeatNumEvalの4つのプライベートライブラリベンチマークを作成しました。
  論文  参考訳（メタデータ） (2023-07-28T07:43:13Z)
• Toolformer: Language Models Can Teach Themselves to Use Tools [62.04867424598204]
  言語モデル(LM)は、特に大規模において、いくつかの例やテキスト命令から新しいタスクを解く素晴らしい能力を示す。 LMは、シンプルなAPIを通じて外部ツールの使用を自覚し、両方の世界のベストを達成できることを示します。 Toolformerは、どのAPIを呼び出すか、いつ呼び出すか、どの引数を渡すか、結果を将来のトークン予測に最もうまく組み込む方法を訓練したモデルです。
  論文  参考訳（メタデータ） (2023-02-09T16:49:57Z)
• On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
  開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。 開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。 既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
  論文  参考訳（メタデータ） (2022-04-05T20:33:24Z)
• API2Com: On the Improvement of Automatically Generated Code Comments Using API Documentations [0.0]
  コメント生成の知識リソースとしてAPI Docs(Application Programming Interface Documentations)を利用するモデルであるAPI2Comを提案する。 このモデルを130,000以上のメソッドからなる大規模なJavaデータセットに適用し,TransformerとRNNベースのアーキテクチャを用いて評価する。
  論文  参考訳（メタデータ） (2021-03-19T07:29:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。