論文の概要: AutoFeedback: An LLM-based Framework for Efficient and Accurate API Request Generation
- arxiv url: http://arxiv.org/abs/2410.06943v1
- Date: Wed, 9 Oct 2024 14:38:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 23:27:23.555846
- Title: AutoFeedback: An LLM-based Framework for Efficient and Accurate API Request Generation
- Title（参考訳）: AutoFeedback: 効率的かつ正確なAPI要求生成のためのLLMベースのフレームワーク
- Authors: Huanxi Liu, Jiaqi Liao, Dawei Feng, Kele Xu, Huaimin Wang,
- Abstract要約: AutoFeedbackは、効率的で正確なAPIリクエスト生成のためのフレームワークである。
大規模言語モデルによるAPIリクエストの生成プロセス中に2つのフィードバックループを実装している。
実際のAPIデータセットで100.00%の精度を実現し、GPT-3.5 Turboとのインタラクションコストを23.44%削減し、GPT-4 Turboを11.85%削減する。
- 参考スコア（独自算出の注目度）: 16.590226868986296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) leverage external tools primarily through generating the API request to enhance task completion efficiency. The accuracy of API request generation significantly determines the capability of LLMs to accomplish tasks. Due to the inherent hallucinations within the LLM, it is difficult to efficiently and accurately generate the correct API request. Current research uses prompt-based feedback to facilitate the LLM-based API request generation. However, existing methods lack factual information and are insufficiently detailed. To address these issues, we propose AutoFeedback, an LLM-based framework for efficient and accurate API request generation, with a Static Scanning Component (SSC) and a Dynamic Analysis Component (DAC). SSC incorporates errors detected in the API requests as pseudo-facts into the feedback, enriching the factual information. DAC retrieves information from API documentation, enhancing the level of detail in feedback. Based on this two components, Autofeedback implementes two feedback loops during the process of generating API requests by the LLM. Extensive experiments demonstrate that it significantly improves accuracy of API request generation and reduces the interaction cost. AutoFeedback achieves an accuracy of 100.00\% on a real-world API dataset and reduces the cost of interaction with GPT-3.5 Turbo by 23.44\%, and GPT-4 Turbo by 11.85\%.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、主にタスク完了効率を高めるためにAPIリクエストを生成することで、外部ツールを活用する。
API要求生成の精度は、LLMがタスクを遂行する能力を大幅に決定します。
LLM内に固有の幻覚があるため、適切なAPI要求を効率的に正確に生成することは困難である。
現在の研究は、LLMベースのAPIリクエスト生成を容易にするために、プロンプトベースのフィードバックを使用している。
しかし、既存の手法には事実情報が欠如しており、詳細は不十分である。
これらの問題に対処するため,我々は,静的走査コンポーネント (SSC) と動的解析コンポーネント (DAC) を備えた,LLMベースのAPI要求生成フレームワークであるAutoFeedbackを提案する。
SSCは、APIリクエストで検出されたエラーを擬似事実としてフィードバックに組み込んで、事実情報を豊かにする。
DACはAPIドキュメントから情報を取得し、フィードバックの詳細なレベルを向上する。
この2つのコンポーネントに基づいて、Autofeedbackは、LLMによるAPIリクエストを生成するプロセス中に、2つのフィードバックループを実装している。
大規模な実験では、APIリクエスト生成の精度を大幅に改善し、インタラクションコストを削減している。
AutoFeedbackは、実際のAPIデータセット上で100.00\%の精度を実現し、GPT-3.5 Turboとのインタラクションコストを23.44\%、GPT-4 Turboを11.85\%削減する。
関連論文リスト
- SEAL: Suite for Evaluating API-use of LLMs [1.2528321519119252]
SEALは、現実世界のAPI使用時に大きな言語モデルを評価するように設計されたエンドツーエンドのテストベッドである。
既存のベンチマークを標準化し、API検索と計画をテストするエージェントシステムを統合し、リアルタイムAPIの不安定性に対処する。
論文 参考訳（メタデータ） (2024-09-23T20:16:49Z) - A Systematic Evaluation of Large Code Models in API Suggestion: When, Which, and How [53.65636914757381]
API提案は、現代のソフトウェア開発において重要なタスクである。
大規模コードモデル(LCM)の最近の進歩は、API提案タスクにおいて有望であることを示している。
論文 参考訳（メタデータ） (2024-09-20T03:12:35Z) - ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。
我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
論文 参考訳（メタデータ） (2024-09-02T03:19:56Z) - FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。
既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。
本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
論文 参考訳（メタデータ） (2024-07-18T23:44:02Z) - On Mitigating Code LLM Hallucinations with API Documentation [22.933186524255593]
CloudAPIBenchは、API幻覚の発生を測定するために設計された新しいベンチマークである。
提案手法により,低周波API性能と高周波API性能のバランスが向上することを示す。
論文 参考訳（メタデータ） (2024-07-13T00:16:26Z) - A Solution-based LLM API-using Methodology for Academic Information Seeking [49.096714812902576]
SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。
ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。
その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
論文 参考訳（メタデータ） (2024-05-24T02:44:14Z) - Octopus: On-device language model for function calling of software APIs [9.78611123915888]
大きな言語モデル(LLM)は、高度なテキスト処理と生成能力のために重要な役割を果たす。
本研究は,ソフトウェアAPIの起動において,デバイス上でのLCMを活用するための新たな戦略を提案する。
論文 参考訳（メタデータ） (2024-04-02T01:29:28Z) - Compositional API Recommendation for Library-Oriented Code Generation [23.355509276291198]
我々は、粗粒度要求のためのAPIを推奨するために、"diide-and-conquer"戦略を採用するCAPIRを提案する。
RAPID(Documentationに基づく推奨API)とLOCG(Library-Oriented Code Generation)の2つの挑戦的なベンチマークを提示する。
これらのベンチマーク実験の結果,既存のベースラインと比較してCAPIRの有効性が示された。
論文 参考訳（メタデータ） (2024-02-29T18:27:27Z) - APICom: Automatic API Completion via Prompt Learning and Adversarial
Training-based Data Augmentation [6.029137544885093]
APIレコメンデーションは、開発者が多数の候補APIの中で必要なAPIを見つけるのを支援するプロセスである。
これまでの研究では、主にAPIレコメンデーションをレコメンデーションタスクとしてモデル化していた。
ニューラルネットワーク翻訳研究領域に動機づけられたこの問題を生成タスクとしてモデル化することができる。
提案手法は,プロンプト学習に基づく新しいアプローチAPIComを提案し,そのプロンプトに応じてクエリに関連するAPIを生成する。
論文 参考訳（メタデータ） (2023-09-13T15:31:50Z) - Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。
現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。
我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
論文 参考訳（メタデータ） (2023-09-08T20:27:05Z) - API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs [84.45284695156771]
API-Bankは、ツール強化された大規模言語モデルのための画期的なベンチマークである。
73のAPIツールからなる実行評価システムを開発した。
我々は、1,000の異なるドメインにまたがる2,138のAPIから1,888のツール使用対話を含む総合的なトレーニングセットを構築した。
論文 参考訳（メタデータ） (2023-04-14T14:05:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。