論文の概要: Compositional API Recommendation for Library-Oriented Code Generation
- arxiv url: http://arxiv.org/abs/2402.19431v1
- Date: Thu, 29 Feb 2024 18:27:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 13:25:39.597053
- Title: Compositional API Recommendation for Library-Oriented Code Generation
- Title(参考訳): ライブラリ指向コード生成のためのコンポジションAPIレコメンデーション
- Authors: Zexiong Ma, Shengnan An, Bing Xie, Zeqi Lin
- Abstract要約: 我々は、粗粒度要求のためのAPIを推奨するために、"diide-and-conquer"戦略を採用するCAPIRを提案する。
RAPID(Documentationに基づく推奨API)とLOCG(Library-Oriented Code Generation)の2つの挑戦的なベンチマークを提示する。
これらのベンチマーク実験の結果,既存のベースラインと比較してCAPIRの有効性が示された。
- 参考スコア(独自算出の注目度): 23.355509276291198
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have achieved exceptional performance in code
generation. However, the performance remains unsatisfactory in generating
library-oriented code, especially for the libraries not present in the training
data of LLMs. Previous work utilizes API recommendation technology to help LLMs
use libraries: it retrieves APIs related to the user requirements, then
leverages them as context to prompt LLMs. However, developmental requirements
can be coarse-grained, requiring a combination of multiple fine-grained APIs.
This granularity inconsistency makes API recommendation a challenging task. To
address this, we propose CAPIR (Compositional API Recommendation), which adopts
a "divide-and-conquer" strategy to recommend APIs for coarse-grained
requirements. Specifically, CAPIR employs an LLM-based Decomposer to break down
a coarse-grained task description into several detailed subtasks. Then, CAPIR
applies an embedding-based Retriever to identify relevant APIs corresponding to
each subtask. Moreover, CAPIR leverages an LLM-based Reranker to filter out
redundant APIs and provides the final recommendation. To facilitate the
evaluation of API recommendation methods on coarse-grained requirements, we
present two challenging benchmarks, RAPID (Recommend APIs based on
Documentation) and LOCG (Library-Oriented Code Generation). Experimental
results on these benchmarks, demonstrate the effectiveness of CAPIR in
comparison to existing baselines. Specifically, on RAPID's Torchdata-AR
dataset, compared to the state-of-the-art API recommendation approach, CAPIR
improves recall@5 from 18.7% to 43.2% and precision@5 from 15.5% to 37.1%. On
LOCG's Torchdata-Code dataset, compared to code generation without API
recommendation, CAPIR improves pass@100 from 16.0% to 28.0%.
- Abstract(参考訳): 大規模言語モデル(LLM)はコード生成において例外的な性能を達成した。
しかし、ライブラリ指向のコードを生成する場合、特にLLMのトレーニングデータに存在しないライブラリでは、パフォーマンスは相変わらず不満足である。
これまでの作業では、APIレコメンデーション技術を使用して、LLMがライブラリを使用するのを支援する。
しかし、開発要件は粗くなり、複数のきめ細かいAPIを組み合わせる必要がある。
この粒度の矛盾は、APIレコメンデーションを困難なタスクにする。
そこで我々は,粒度の粗い要件に対してapiを推奨する "ディビジョン・アンド・コンクェリ" 戦略を採用する capir (compositional api recommendation) を提案する。
具体的には、CAPIRはLLMベースのDecomposerを使用して、粗い粒度のタスク記述をいくつかの詳細なサブタスクに分解する。
次にcapirは組み込みベースのレトリバーを適用し、各サブタスクに対応する関連するapiを識別する。
さらに、CAPIRはLLMベースのRerankerを利用して冗長APIをフィルタリングし、最終的な推奨を提供する。
粗粒度要求に対するAPIレコメンデーション手法の評価を容易にするため,RAPID(ドキュメントに基づく推奨API)とLOCG(ライブラリ指向コード生成)という2つの挑戦的なベンチマークを提示する。
これらのベンチマーク実験の結果,既存のベースラインと比較してCAPIRの有効性が示された。
具体的には、RAPIDのTorchdata-ARデータセットにおいて、最先端のAPIレコメンデーションアプローチと比較して、CAPIRはリコール@5を18.7%から43.2%、精度@5を15.5%から37.1%に改善している。
locgのtorchdata-codeデータセットでは、api推奨のないコード生成と比較して、capirはpass@100を16.0%から28.0%に改善した。
関連論文リスト
- APIGen: Generative API Method Recommendation [16.541442856821]
APIGenは、拡張インコンテキスト学習(ICL)によるジェネレーティブAPIレコメンデーションアプローチである
APIGenは、語彙、構文、意味の観点から、プログラミングクエリに類似したポストを検索する。
推論プロセスにより、APIGenはクエリのプログラミング要件を満たすための推奨APIを提供する。
論文 参考訳(メタデータ) (2024-01-29T02:35:42Z) - Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。
評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
論文 参考訳(メタデータ) (2023-12-01T19:53:23Z) - ML-Bench: Large Language Models Leverage Open-source Libraries for
Machine Learning Tasks [75.12666425091702]
大規模な言語モデルは、コード生成ベンチマークで有望なパフォーマンスを示している。
この研究は、LLMがオープンソースのライブラリを使用して機械学習タスクを終了する、新たな評価設定を提案することを目的としている。
論文 参考訳(メタデータ) (2023-11-16T12:03:21Z) - APICom: Automatic API Completion via Prompt Learning and Adversarial
Training-based Data Augmentation [6.029137544885093]
APIレコメンデーションは、開発者が多数の候補APIの中で必要なAPIを見つけるのを支援するプロセスである。
これまでの研究では、主にAPIレコメンデーションをレコメンデーションタスクとしてモデル化していた。
ニューラルネットワーク翻訳研究領域に動機づけられたこの問題を生成タスクとしてモデル化することができる。
提案手法は,プロンプト学習に基づく新しいアプローチAPIComを提案し,そのプロンプトに応じてクエリに関連するAPIを生成する。
論文 参考訳(メタデータ) (2023-09-13T15:31:50Z) - Private-Library-Oriented Code Generation with Large Language Models [52.73999698194344]
本稿では,大規模言語モデル(LLM)をプライベートライブラリのコード生成に活用することに焦点を当てる。
プログラマがプライベートコードを書く過程をエミュレートする新しいフレームワークを提案する。
TorchDataEval、TorchDataComplexEval、MonkeyEval、BeatNumEvalの4つのプライベートライブラリベンチマークを作成しました。
論文 参考訳(メタデータ) (2023-07-28T07:43:13Z) - Large Language Models are Effective Text Rankers with Pairwise Ranking
Prompting [57.13214633281011]
Pairwise Ranking Prompting (PRP) は,Large Language Models (LLM) を用いた文書のランク付け手法である。
本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
論文 参考訳(メタデータ) (2023-06-30T11:32:25Z) - Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
本研究では,ALIESと呼ばれる新しい手法を提案する。
入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。
元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
論文 参考訳(メタデータ) (2023-05-24T06:16:44Z) - Evaluating Embedding APIs for Information Retrieval [51.24236853841468]
ドメインの一般化と多言語検索における既存のセマンティック埋め込みAPIの機能を評価する。
BM25の結果をAPIを使って再ランク付けすることは、予算に優しいアプローチであり、英語でもっとも効果的である。
非英語検索では、再ランク付けは結果を改善するが、BM25のハイブリッドモデルは高いコストで機能する。
論文 参考訳(メタデータ) (2023-05-10T16:40:52Z) - On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。
開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。
既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
論文 参考訳(メタデータ) (2022-04-05T20:33:24Z) - Embedding Code Contexts for Cryptographic API Suggestion:New
Methodologies and Comparisons [9.011910726620536]
APIレコメンデーションのための新しいニューラルネットワークベースのアプローチであるMulti-HyLSTMを提案する。
プログラム分析を使用して、APIの埋め込みと推奨をガイドします。
245のテストケースの分析では、商用ツールのCodotaと比較して、トップ1の推奨精度は88.98%に達した。
論文 参考訳(メタデータ) (2021-03-15T22:27:57Z) - Holistic Combination of Structural and Textual Code Information for
Context based API Recommendation [28.74546332681778]
APIRec-CST (API Recommendation by Combining Structure and Textual code information) と呼ばれる新しいAPIレコメンデーション手法を提案する。
APIRec-CSTは、API Graph NetworkとCode Token Networkをベースにしたソースコードのテキスト情報とAPI使用率を組み合わせたディープラーニングモデルである。
我々は,この手法が60.3%,81.5%,87.7%,69.4%の上位5,上位10の精度,MRRを達成し,既存のグラフベースの統計手法を著しく上回ることを示す。
論文 参考訳(メタデータ) (2020-10-15T04:40:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。