論文の概要: Contextual API Completion for Unseen Repositories Using LLMs

• arxiv url: http://arxiv.org/abs/2405.04600v1
• Date: Tue, 7 May 2024 18:22:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 16:04:43.232599
• Title: Contextual API Completion for Unseen Repositories Using LLMs
• Title（参考訳）: LLMを用いた目に見えないリポジトリのコンテクストAPI補完
• Authors: Noor Nashid, Taha Shabani, Parsa Alian, Ali Mesbah,
• Abstract要約: 本稿では,API補完タスクのためのコードリポジトリ内で,グローバルおよびローカルなコンテキスト情報を活用することで幻覚を緩和する新しい手法を提案する。 当社のアプローチは、ローカルAPI補完の最適化に重点を置いて、コード補完タスクの洗練に適合しています。 私たちのツールであるLANCEは、APIトークンの補完と会話APIの補完で、Copilotを143%、Copilotを142%上回っています。
• 参考スコア（独自算出の注目度）: 6.518508607788089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models have made substantial progress in addressing diverse code-related tasks. However, their adoption is hindered by inconsistencies in generating output due to the lack of real-world, domain-specific information, such as for intra-repository API calls for unseen software projects. We introduce a novel technique to mitigate hallucinations by leveraging global and local contextual information within a code repository for API completion tasks. Our approach is tailored to refine code completion tasks, with a focus on optimizing local API completions. We examine relevant import statements during API completion to derive insights into local APIs, drawing from their method signatures. For API token completion, we analyze the inline variables and correlate them with the appropriate imported modules, thereby allowing our approach to rank the most contextually relevant suggestions from the available local APIs. Further, for conversational API completion, we gather APIs that are most relevant to the developer query with a retrieval-based search across the project. We employ our tool, LANCE, within the framework of our proposed benchmark, APIEval, encompassing two different programming languages. Our evaluation yields an average accuracy of 82.6% for API token completion and 76.9% for conversational API completion tasks. On average, LANCE surpasses Copilot by 143% and 142% for API token completion and conversational API completion, respectively. The implications of our findings are substantial for developers, suggesting that our lightweight context analysis can be applied to multilingual environments without language-specific training or fine-tuning, allowing for efficient implementation with minimal examples and effort.
• Abstract（参考訳）: 大規模言語モデルは、多様なコード関連タスクに対処する上で大きな進歩を遂げた。 しかし、それらの採用は、実世界のドメイン固有の情報の欠如、例えばリポジトリ内のソフトウェアプロジェクトのAPI呼び出しなど、アウトプット生成の不整合によって妨げられている。 本稿では,API補完タスクのためのコードリポジトリ内で,グローバルおよびローカルなコンテキスト情報を活用することで幻覚を緩和する新しい手法を提案する。 当社のアプローチは、ローカルAPI補完の最適化に重点を置いて、コード補完タスクの洗練に適合しています。 ローカルAPIに対する洞察を導き出すため,API完了時に関連するインポートステートメントについて検討し,そのメソッドシグネチャから抽出する。 APIトークンの補完について、インライン変数を分析し、適切なインポートされたモジュールと相関付けすることで、利用可能なローカルAPIから最もコンテキストに関連のある提案をランク付けするアプローチを可能にします。 さらに、会話型のAPI補完には、プロジェクト全体にわたる検索ベースの検索で、開発者クエリに最も関連性の高いAPIを集めます。 提案したベンチマークであるAPIEvalのフレームワークには,当社のツールであるLANCEが採用されています。 平均精度は,APIトークン完了時の82.6%,会話API完了時の76.9%である。 平均して、LANCEはAPIトークンの補完と会話APIの補完で、Copilotを143%、Copilotを142%上回っている。 言語固有のトレーニングや微調整なしに、軽量なコンテキスト分析を多言語環境に適用することで、最小限の例と労力で効率的な実装が可能になることを示唆している。

関連論文リスト

• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• WorldAPIs: The World Is Worth How Many APIs? A Thought Experiment [49.00213183302225]
  本稿では, wikiHow 命令をエージェントの配置ポリシーに基礎付けることで, 新たな API を創出するフレームワークを提案する。 大規模言語モデル (LLM) の具体化計画における近年の成功に触発されて, GPT-4 のステアリングを目的とした数発のプロンプトを提案する。
  論文  参考訳（メタデータ） (2024-07-10T15:52:44Z)
• A Solution-based LLM API-using Methodology for Academic Information Seeking [49.096714812902576]
  SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。 ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。 その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
  論文  参考訳（メタデータ） (2024-05-24T02:44:14Z)
• LLM+Reasoning+Planning for supporting incomplete user queries in presence of APIs [0.09374652839580183]
  実際には、自然言語のタスク要求(ユーザクエリ)は不完全であることが多い。 論理的推論と古典的AI計画とLLMを併用して,ユーザのクエリを正確に応答する。 提案手法は,完全かつ不完全な単一目標とマルチゴールクエリを含むデータセットにおいて,95%以上の成功率を達成する。
  論文  参考訳（メタデータ） (2024-05-21T01:16:34Z)
• Are Human Rules Necessary? Generating Reusable APIs with CoT Reasoning and In-Context Learning [14.351476383642016]
  そこで我々は,Stack OverflowコードスニペットのAPIzationを自動的に実行する,Code2APIという新しいアプローチを提案する。 Code2APIは、追加のモデルトレーニングや手作業のルールを必要としない。 他の外部ツールに頼ることなく、パーソナルコンピュータに簡単にデプロイできる。
  論文  参考訳（メタデータ） (2024-05-06T14:22:17Z)
• Interpreting User Requests in the Context of Natural Language Standing Instructions [89.12540932734476]
  我々は17のドメインにまたがる2.4K以上の対話からなる言語とプログラムのデータセットであるNLSIを開発した。 NLSIの鍵となる課題は、ある対話に適用可能なスタンディング命令のサブセットを特定することである。
  論文  参考訳（メタデータ） (2023-11-16T11:19:26Z)
• APICom: Automatic API Completion via Prompt Learning and Adversarial Training-based Data Augmentation [6.029137544885093]
  APIレコメンデーションは、開発者が多数の候補APIの中で必要なAPIを見つけるのを支援するプロセスである。 これまでの研究では、主にAPIレコメンデーションをレコメンデーションタスクとしてモデル化していた。 ニューラルネットワーク翻訳研究領域に動機づけられたこの問題を生成タスクとしてモデル化することができる。 提案手法は,プロンプト学習に基づく新しいアプローチAPIComを提案し,そのプロンプトに応じてクエリに関連するAPIを生成する。
  論文  参考訳（メタデータ） (2023-09-13T15:31:50Z)
• Enhancing API Documentation through BERTopic Modeling and Summarization [0.0]
  本稿では、アプリケーションプログラミングインタフェース(API)ドキュメントの解釈の複雑さに焦点を当てる。 公式APIドキュメンテーションは、開発者にとって最も重要な情報ソースであるが、広くなり、ユーザフレンドリ性に欠けることが多い。 我々の新しいアプローチは、トピックモデリングと自然言語処理(NLP)にBERTopicの長所を利用して、APIドキュメントの要約を自動的に生成する。
  論文  参考訳（メタデータ） (2023-08-17T15:57:12Z)
• Evaluating Embedding APIs for Information Retrieval [51.24236853841468]
  ドメインの一般化と多言語検索における既存のセマンティック埋め込みAPIの機能を評価する。 BM25の結果をAPIを使って再ランク付けすることは、予算に優しいアプローチであり、英語でもっとも効果的である。 非英語検索では、再ランク付けは結果を改善するが、BM25のハイブリッドモデルは高いコストで機能する。
  論文  参考訳（メタデータ） (2023-05-10T16:40:52Z)
• Binding Language Models in Symbolic Languages [146.3027328556881]
  Binderはトレーニング不要のニューラルシンボリックフレームワークで、タスク入力をプログラムにマッピングする。 解析の段階では、Codexは元のプログラミング言語では答えられないタスク入力の一部を特定することができる。 実行段階では、CodexはAPI呼び出しで適切なプロンプトを与えられた万能機能を実行することができる。
  論文  参考訳（メタデータ） (2022-10-06T12:55:17Z)
• On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
  開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。 開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。 既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
  論文  参考訳（メタデータ） (2022-04-05T20:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。