論文の概要: Q-ARE: An Evaluation Dataset for Query Based API Recommendation

• arxiv url: http://arxiv.org/abs/2605.00472v1
• Date: Fri, 01 May 2026 07:18:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.890889
• Title: Q-ARE: An Evaluation Dataset for Query Based API Recommendation
• Title（参考訳）: Q-ARE: クエリベースのAPIレコメンデーションのための評価データセット
• Abstract要約: 本稿では,GitHubのオープンソースプロジェクトをベースとしたデータセットであるQ-ARE(Query-based API Recommendation Evaluation)を構築した。 メソッドとその呼び出しチェーンを分析して、ターゲットメソッドによって直接または間接的に呼び出されるサードパーティAPIを識別する。 クエリメソッドとターゲットAPIの間の呼び出し距離を測定するAPIコール深さと、呼び出しチェーン内のターゲットAPIに関連するコード行の割合を定量化する呼び出し密度という2つの指標を紹介します。
• 参考スコア（独自算出の注目度）: 2.5899127511172133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As software systems grow in scale, developers face increasing difficulty in selecting appropriate Application Programming Interfaces (APIs) from numerous options. Efficiently identifying APIs that satisfy functional requirements has become a key challenge. To evaluate the semantic understanding of existing query-based API recommendation methods, this paper constructs Q-ARE (Query-based API Recommendation Evaluation), a dataset based on open-source Java projects from GitHub. Methods and their invocation chains are analyzed to identify third-party APIs directly or indirectly invoked by target methods, recursively expanding multi-level invocations to unify hierarchical call structures into API recommendation target sets. Furthermore, we introduce two metrics: API Call Depth, measuring the invocation distance between a query method and a target API, and Invocation Density, quantifying the proportion of code lines associated with the target API in the invocation chain. Based on Q-ARE, we systematically evaluate several query-based API recommendation methods and general Large Language Models (LLMs). Results show that performance drops significantly as API Call Depth increases and invocation density decreases, indicating that existing methods still struggle with multi-level method invocation structures. Q-ARE and its metrics provide a new benchmark for assessing semantic understanding in API recommendation and offer insights for improving future algorithms.
• Abstract（参考訳）: ソフトウェアシステムが大規模化するにつれて、開発者は様々な選択肢から適切なアプリケーションプログラミングインターフェース(API)を選択するのが難しくなる。 機能要件を満たすAPIを効果的に識別することが重要な課題となっている。 既存のクエリベースのAPIレコメンデーション手法のセマンティック理解を評価するため,GitHubのオープンソースJavaプロジェクトに基づくデータセットであるQ-ARE(Query-based API Recommendation Evaluation)を構築した。 メソッドとその呼び出しチェーンは分析され、ターゲットメソッドによって直接または間接的に呼び出されるサードパーティのAPIを識別し、階層的な呼び出し構造をAPIレコメンデーションターゲットセットに統合するために、再帰的にマルチレベル呼び出しを拡張する。 さらに、クエリメソッドとターゲットAPI間の呼び出し距離を測定するAPIコール深さと、呼び出しチェーン内のターゲットAPIに関連するコード行の割合を定量化する呼び出し密度という2つの指標も紹介する。 Q-AREに基づいて,クエリベースのAPIレコメンデーション手法と汎用言語モデル(LLM)を体系的に評価する。 APIコールの深さが増加し、呼び出し密度が低下するにつれて、パフォーマンスが大幅に低下することが示され、既存のメソッドがマルチレベルのメソッド呼び出し構造といまだに苦労していることを示す。 Q-AREとそのメトリクスは、APIレコメンデーションにおけるセマンティック理解を評価するための新しいベンチマークを提供し、将来のアルゴリズムを改善するための洞察を提供する。

関連論文リスト

• AISE-Bench: A Full-Cycle Curated Benchmark for Information Seeking on Academic Knowledge Graphs [55.8213573429699]
  AISE-Benchは、学術知識グラフに基づく情報検索のための実世界のフルサイクルアノテートベンチマークである。 AISE-Benchリリースには1,133のQAペアが含まれている。クエリ、完全なAPI実行、検証されたパラメータ、リファレンスリンクによるソースグラウンドの回答などだ。 我々は,回答の品質,参照基盤,API計画の正確性,実行成功を総合的に評価するプロトコルを開発した。
  論文  参考訳（メタデータ） (2026-06-16T07:59:46Z)
• ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
  ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 実験の結果、ExploreaCoderは、事前のAPI知識に欠けるモデルのパフォーマンスを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-12-06T19:00:15Z)
• A Systematic Evaluation of Large Code Models in API Suggestion: When, Which, and How [53.65636914757381]
  API提案は、現代のソフトウェア開発において重要なタスクである。 大規模コードモデル(LCM)の最近の進歩は、API提案タスクにおいて有望であることを示している。
  論文  参考訳（メタデータ） (2024-09-20T03:12:35Z)
• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• SoAy: A Solution-based LLM API-using Methodology for Academic Information Seeking [59.59923482238048]
  SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。 ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。 その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
  論文  参考訳（メタデータ） (2024-05-24T02:44:14Z)
• Contextual API Completion for Unseen Repositories Using LLMs [6.518508607788089]
  本稿では,API補完タスクのためのコードリポジトリ内で,グローバルおよびローカルなコンテキスト情報を活用することで幻覚を緩和する新しい手法を提案する。 当社のアプローチは、ローカルAPI補完の最適化に重点を置いて、コード補完タスクの洗練に適合しています。 私たちのツールであるLANCEは、APIトークンの補完と会話APIの補完で、Copilotを143%、Copilotを142%上回っています。
  論文  参考訳（メタデータ） (2024-05-07T18:22:28Z)
• APIGen: Generative API Method Recommendation [16.541442856821]
  APIGenは、拡張インコンテキスト学習(ICL)によるジェネレーティブAPIレコメンデーションアプローチである APIGenは、語彙、構文、意味の観点から、プログラミングクエリに類似したポストを検索する。 推論プロセスにより、APIGenはクエリのプログラミング要件を満たすための推奨APIを提供する。
  論文  参考訳（メタデータ） (2024-01-29T02:35:42Z)
• APICom: Automatic API Completion via Prompt Learning and Adversarial Training-based Data Augmentation [6.029137544885093]
  APIレコメンデーションは、開発者が多数の候補APIの中で必要なAPIを見つけるのを支援するプロセスである。 これまでの研究では、主にAPIレコメンデーションをレコメンデーションタスクとしてモデル化していた。 ニューラルネットワーク翻訳研究領域に動機づけられたこの問題を生成タスクとしてモデル化することができる。 提案手法は,プロンプト学習に基づく新しいアプローチAPIComを提案し,そのプロンプトに応じてクエリに関連するAPIを生成する。
  論文  参考訳（メタデータ） (2023-09-13T15:31:50Z)
• Evaluating Embedding APIs for Information Retrieval [51.24236853841468]
  ドメインの一般化と多言語検索における既存のセマンティック埋め込みAPIの機能を評価する。 BM25の結果をAPIを使って再ランク付けすることは、予算に優しいアプローチであり、英語でもっとも効果的である。 非英語検索では、再ランク付けは結果を改善するが、BM25のハイブリッドモデルは高いコストで機能する。
  論文  参考訳（メタデータ） (2023-05-10T16:40:52Z)
• On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
  開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。 開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。 既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
  論文  参考訳（メタデータ） (2022-04-05T20:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。