論文の概要: Compositional API Recommendation for Library-Oriented Code Generation

• arxiv url: http://arxiv.org/abs/2402.19431v1
• Date: Thu, 29 Feb 2024 18:27:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 13:25:39.597053
• Title: Compositional API Recommendation for Library-Oriented Code Generation
• Title（参考訳）: ライブラリ指向コード生成のためのコンポジションAPIレコメンデーション
• Authors: Zexiong Ma, Shengnan An, Bing Xie, Zeqi Lin
• Abstract要約: 我々は、粗粒度要求のためのAPIを推奨するために、"diide-and-conquer"戦略を採用するCAPIRを提案する。 RAPID(Documentationに基づく推奨API)とLOCG(Library-Oriented Code Generation)の2つの挑戦的なベンチマークを提示する。 これらのベンチマーク実験の結果,既存のベースラインと比較してCAPIRの有効性が示された。
• 参考スコア（独自算出の注目度）: 23.355509276291198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved exceptional performance in code generation. However, the performance remains unsatisfactory in generating library-oriented code, especially for the libraries not present in the training data of LLMs. Previous work utilizes API recommendation technology to help LLMs use libraries: it retrieves APIs related to the user requirements, then leverages them as context to prompt LLMs. However, developmental requirements can be coarse-grained, requiring a combination of multiple fine-grained APIs. This granularity inconsistency makes API recommendation a challenging task. To address this, we propose CAPIR (Compositional API Recommendation), which adopts a "divide-and-conquer" strategy to recommend APIs for coarse-grained requirements. Specifically, CAPIR employs an LLM-based Decomposer to break down a coarse-grained task description into several detailed subtasks. Then, CAPIR applies an embedding-based Retriever to identify relevant APIs corresponding to each subtask. Moreover, CAPIR leverages an LLM-based Reranker to filter out redundant APIs and provides the final recommendation. To facilitate the evaluation of API recommendation methods on coarse-grained requirements, we present two challenging benchmarks, RAPID (Recommend APIs based on Documentation) and LOCG (Library-Oriented Code Generation). Experimental results on these benchmarks, demonstrate the effectiveness of CAPIR in comparison to existing baselines. Specifically, on RAPID's Torchdata-AR dataset, compared to the state-of-the-art API recommendation approach, CAPIR improves recall@5 from 18.7% to 43.2% and precision@5 from 15.5% to 37.1%. On LOCG's Torchdata-Code dataset, compared to code generation without API recommendation, CAPIR improves pass@100 from 16.0% to 28.0%.
• Abstract（参考訳）: 大規模言語モデル(LLM)はコード生成において例外的な性能を達成した。 しかし、ライブラリ指向のコードを生成する場合、特にLLMのトレーニングデータに存在しないライブラリでは、パフォーマンスは相変わらず不満足である。 これまでの作業では、APIレコメンデーション技術を使用して、LLMがライブラリを使用するのを支援する。 しかし、開発要件は粗くなり、複数のきめ細かいAPIを組み合わせる必要がある。 この粒度の矛盾は、APIレコメンデーションを困難なタスクにする。 そこで我々は,粒度の粗い要件に対してapiを推奨する "ディビジョン・アンド・コンクェリ" 戦略を採用する capir (compositional api recommendation) を提案する。 具体的には、CAPIRはLLMベースのDecomposerを使用して、粗い粒度のタスク記述をいくつかの詳細なサブタスクに分解する。 次にcapirは組み込みベースのレトリバーを適用し、各サブタスクに対応する関連するapiを識別する。 さらに、CAPIRはLLMベースのRerankerを利用して冗長APIをフィルタリングし、最終的な推奨を提供する。 粗粒度要求に対するAPIレコメンデーション手法の評価を容易にするため,RAPID(ドキュメントに基づく推奨API)とLOCG(ライブラリ指向コード生成)という2つの挑戦的なベンチマークを提示する。 これらのベンチマーク実験の結果,既存のベースラインと比較してCAPIRの有効性が示された。 具体的には、RAPIDのTorchdata-ARデータセットにおいて、最先端のAPIレコメンデーションアプローチと比較して、CAPIRはリコール@5を18.7%から43.2%、精度@5を15.5%から37.1%に改善している。 locgのtorchdata-codeデータセットでは、api推奨のないコード生成と比較して、capirはpass@100を16.0%から28.0%に改善した。

関連論文リスト

• AutoFeedback: An LLM-based Framework for Efficient and Accurate API Request Generation [16.590226868986296]
  AutoFeedbackは、効率的で正確なAPIリクエスト生成のためのフレームワークである。 大規模言語モデルによるAPIリクエストの生成プロセス中に2つのフィードバックループを実装している。 実際のAPIデータセットで100.00%の精度を実現し、GPT-3.5 Turboとのインタラクションコストを23.44%削減し、GPT-4 Turboを11.85%削減する。
  論文  参考訳（メタデータ） (2024-10-09T14:38:28Z)
• A Systematic Evaluation of Large Code Models in API Suggestion: When, Which, and How [53.65636914757381]
  API提案は、現代のソフトウェア開発において重要なタスクである。 大規模コードモデル(LCM)の最近の進歩は、API提案タスクにおいて有望であることを示している。
  論文  参考訳（メタデータ） (2024-09-20T03:12:35Z)
• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• A Solution-based LLM API-using Methodology for Academic Information Seeking [49.096714812902576]
  SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。 ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。 その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
  論文  参考訳（メタデータ） (2024-05-24T02:44:14Z)
• APIGen: Generative API Method Recommendation [16.541442856821]
  APIGenは、拡張インコンテキスト学習(ICL)によるジェネレーティブAPIレコメンデーションアプローチである APIGenは、語彙、構文、意味の観点から、プログラミングクエリに類似したポストを検索する。 推論プロセスにより、APIGenはクエリのプログラミング要件を満たすための推奨APIを提供する。
  論文  参考訳（メタデータ） (2024-01-29T02:35:42Z)
• Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
  RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。 評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T19:53:23Z)
• APICom: Automatic API Completion via Prompt Learning and Adversarial Training-based Data Augmentation [6.029137544885093]
  APIレコメンデーションは、開発者が多数の候補APIの中で必要なAPIを見つけるのを支援するプロセスである。 これまでの研究では、主にAPIレコメンデーションをレコメンデーションタスクとしてモデル化していた。 ニューラルネットワーク翻訳研究領域に動機づけられたこの問題を生成タスクとしてモデル化することができる。 提案手法は,プロンプト学習に基づく新しいアプローチAPIComを提案し,そのプロンプトに応じてクエリに関連するAPIを生成する。
  論文  参考訳（メタデータ） (2023-09-13T15:31:50Z)
• Private-Library-Oriented Code Generation with Large Language Models [52.73999698194344]
  本稿では,大規模言語モデル(LLM)をプライベートライブラリのコード生成に活用することに焦点を当てる。 プログラマがプライベートコードを書く過程をエミュレートする新しいフレームワークを提案する。 TorchDataEval、TorchDataComplexEval、MonkeyEval、BeatNumEvalの4つのプライベートライブラリベンチマークを作成しました。
  論文  参考訳（メタデータ） (2023-07-28T07:43:13Z)
• Evaluating Embedding APIs for Information Retrieval [51.24236853841468]
  ドメインの一般化と多言語検索における既存のセマンティック埋め込みAPIの機能を評価する。 BM25の結果をAPIを使って再ランク付けすることは、予算に優しいアプローチであり、英語でもっとも効果的である。 非英語検索では、再ランク付けは結果を改善するが、BM25のハイブリッドモデルは高いコストで機能する。
  論文  参考訳（メタデータ） (2023-05-10T16:40:52Z)
• Holistic Combination of Structural and Textual Code Information for Context based API Recommendation [28.74546332681778]
  APIRec-CST (API Recommendation by Combining Structure and Textual code information) と呼ばれる新しいAPIレコメンデーション手法を提案する。 APIRec-CSTは、API Graph NetworkとCode Token Networkをベースにしたソースコードのテキスト情報とAPI使用率を組み合わせたディープラーニングモデルである。 我々は,この手法が60.3%,81.5%,87.7%,69.4%の上位5,上位10の精度,MRRを達成し,既存のグラフベースの統計手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2020-10-15T04:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。