論文の概要: Q-ARE: An Evaluation Dataset for Query Based API Recommendation

• arxiv url: http://arxiv.org/abs/2605.00472v1
• Date: Fri, 01 May 2026 07:18:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.890889
• Title: Q-ARE: An Evaluation Dataset for Query Based API Recommendation
• Title（参考訳）: Q-ARE: クエリベースのAPIレコメンデーションのための評価データセット
• Authors: Shenglong Wu, Xunhui Zhang, Tao Wang,
• Abstract要約: 本稿では,GitHubのオープンソースプロジェクトをベースとしたデータセットであるQ-ARE(Query-based API Recommendation Evaluation)を構築した。 メソッドとその呼び出しチェーンを分析して、ターゲットメソッドによって直接または間接的に呼び出されるサードパーティAPIを識別する。 クエリメソッドとターゲットAPIの間の呼び出し距離を測定するAPIコール深さと、呼び出しチェーン内のターゲットAPIに関連するコード行の割合を定量化する呼び出し密度という2つの指標を紹介します。
• 参考スコア（独自算出の注目度）: 2.5899127511172133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As software systems grow in scale, developers face increasing difficulty in selecting appropriate Application Programming Interfaces (APIs) from numerous options. Efficiently identifying APIs that satisfy functional requirements has become a key challenge. To evaluate the semantic understanding of existing query-based API recommendation methods, this paper constructs Q-ARE (Query-based API Recommendation Evaluation), a dataset based on open-source Java projects from GitHub. Methods and their invocation chains are analyzed to identify third-party APIs directly or indirectly invoked by target methods, recursively expanding multi-level invocations to unify hierarchical call structures into API recommendation target sets. Furthermore, we introduce two metrics: API Call Depth, measuring the invocation distance between a query method and a target API, and Invocation Density, quantifying the proportion of code lines associated with the target API in the invocation chain. Based on Q-ARE, we systematically evaluate several query-based API recommendation methods and general Large Language Models (LLMs). Results show that performance drops significantly as API Call Depth increases and invocation density decreases, indicating that existing methods still struggle with multi-level method invocation structures. Q-ARE and its metrics provide a new benchmark for assessing semantic understanding in API recommendation and offer insights for improving future algorithms.
• Abstract（参考訳）: ソフトウェアシステムが大規模化するにつれて、開発者は様々な選択肢から適切なアプリケーションプログラミングインターフェース(API)を選択するのが難しくなる。 機能要件を満たすAPIを効果的に識別することが重要な課題となっている。 既存のクエリベースのAPIレコメンデーション手法のセマンティック理解を評価するため,GitHubのオープンソースJavaプロジェクトに基づくデータセットであるQ-ARE(Query-based API Recommendation Evaluation)を構築した。 メソッドとその呼び出しチェーンは分析され、ターゲットメソッドによって直接または間接的に呼び出されるサードパーティのAPIを識別し、階層的な呼び出し構造をAPIレコメンデーションターゲットセットに統合するために、再帰的にマルチレベル呼び出しを拡張する。 さらに、クエリメソッドとターゲットAPI間の呼び出し距離を測定するAPIコール深さと、呼び出しチェーン内のターゲットAPIに関連するコード行の割合を定量化する呼び出し密度という2つの指標も紹介する。 Q-AREに基づいて,クエリベースのAPIレコメンデーション手法と汎用言語モデル(LLM)を体系的に評価する。 APIコールの深さが増加し、呼び出し密度が低下するにつれて、パフォーマンスが大幅に低下することが示され、既存のメソッドがマルチレベルのメソッド呼び出し構造といまだに苦労していることを示す。 Q-AREとそのメトリクスは、APIレコメンデーションにおけるセマンティック理解を評価するための新しいベンチマークを提供し、将来のアルゴリズムを改善するための洞察を提供する。

関連論文リスト

• ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
  ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 実験の結果、ExploreaCoderは、事前のAPI知識に欠けるモデルのパフォーマンスを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-12-06T19:00:15Z)
• A Systematic Evaluation of Large Code Models in API Suggestion: When, Which, and How [53.65636914757381]
  API提案は、現代のソフトウェア開発において重要なタスクである。 大規模コードモデル(LCM)の最近の進歩は、API提案タスクにおいて有望であることを示している。
  論文  参考訳（メタデータ） (2024-09-20T03:12:35Z)
• SoAy: A Solution-based LLM API-using Methodology for Academic Information Seeking [59.59923482238048]
  SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。 ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。 その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
  論文  参考訳（メタデータ） (2024-05-24T02:44:14Z)
• Contextual API Completion for Unseen Repositories Using LLMs [6.518508607788089]
  本稿では,API補完タスクのためのコードリポジトリ内で,グローバルおよびローカルなコンテキスト情報を活用することで幻覚を緩和する新しい手法を提案する。 当社のアプローチは、ローカルAPI補完の最適化に重点を置いて、コード補完タスクの洗練に適合しています。 私たちのツールであるLANCEは、APIトークンの補完と会話APIの補完で、Copilotを143%、Copilotを142%上回っています。
  論文  参考訳（メタデータ） (2024-05-07T18:22:28Z)
• APIGen: Generative API Method Recommendation [16.541442856821]
  APIGenは、拡張インコンテキスト学習(ICL)によるジェネレーティブAPIレコメンデーションアプローチである APIGenは、語彙、構文、意味の観点から、プログラミングクエリに類似したポストを検索する。 推論プロセスにより、APIGenはクエリのプログラミング要件を満たすための推奨APIを提供する。
  論文  参考訳（メタデータ） (2024-01-29T02:35:42Z)
• APICom: Automatic API Completion via Prompt Learning and Adversarial Training-based Data Augmentation [6.029137544885093]
  APIレコメンデーションは、開発者が多数の候補APIの中で必要なAPIを見つけるのを支援するプロセスである。 これまでの研究では、主にAPIレコメンデーションをレコメンデーションタスクとしてモデル化していた。 ニューラルネットワーク翻訳研究領域に動機づけられたこの問題を生成タスクとしてモデル化することができる。 提案手法は,プロンプト学習に基づく新しいアプローチAPIComを提案し,そのプロンプトに応じてクエリに関連するAPIを生成する。
  論文  参考訳（メタデータ） (2023-09-13T15:31:50Z)
• Evaluating Embedding APIs for Information Retrieval [51.24236853841468]
  ドメインの一般化と多言語検索における既存のセマンティック埋め込みAPIの機能を評価する。 BM25の結果をAPIを使って再ランク付けすることは、予算に優しいアプローチであり、英語でもっとも効果的である。 非英語検索では、再ランク付けは結果を改善するが、BM25のハイブリッドモデルは高いコストで機能する。
  論文  参考訳（メタデータ） (2023-05-10T16:40:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。