論文の概要: Mitigating Errors in LLM-Generated Web API Invocations via Retrieval-Augmented Generation and Constrained Decoding
- arxiv url: http://arxiv.org/abs/2607.05936v1
- Date: Tue, 07 Jul 2026 07:38:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.432683
- Title: Mitigating Errors in LLM-Generated Web API Invocations via Retrieval-Augmented Generation and Constrained Decoding
- Title（参考訳）: LLM生成Web API呼び出しにおける再帰型生成と制約付きデコーディングによる誤りの軽減
- Abstract要約: 本稿では、Web API呼び出しコードを改善するための2つの補完的アプローチとして、検索拡張生成(RAG)と制約付き復号(CD)を提案し、体系的に評価する。
RAGは幻覚を減らし、完全なAPI呼び出しを生成するときの正しさを改善するが、エンドポイントがすでに提供されているときのそれを減らす。
CDは、違法なURL、HTTPメソッド、引数を確実に防止し、両方のスターターコードの全体的な正しさを大幅に改善する。
- 参考スコア（独自算出の注目度）: 3.3663024952628073
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Integration of web APIs is a cornerstone of modern software systems, yet writing correct web API invocation code remains challenging due to complex and evolving API specifications. Although LLMs are increasingly used for code generation, previous work has empirically shown that their ability to generate correct web API integrations is limited. At the same time, mitigation techniques and their effectiveness for this setting remain insufficiently understood. In this paper, we propose and systematically evaluate retrieval-augmented generation (RAG) and constrained decoding (CD) as two complementary approaches to improving LLM-generated web API invocation code. For RAG, we design a retriever that processes OpenAPI specifications and retrieves compact endpoint representations to inject into model prompts. For CD, we introduce an automatic translation from OpenAPI specifications to regex-based constraints enforced during generation. We evaluate both approaches on WAPIIBench's existing synthetic dataset and on a new real-world dataset derived from GitHub repositories. Our results show that RAG reduces hallucinations and improves correctness when generating full API invocations but reduces it when the endpoint is already provided as it encourages the generation of unnecessary parameters. In contrast, CD reliably prevents illegal URLs, HTTP methods, and arguments and substantially improves overall correctness for both starter codes.
- Abstract（参考訳）: Web APIの統合は、現代のソフトウェアシステムの基盤であるが、複雑なAPI仕様の進化のために、正しいWeb API呼び出しコードを書くことは、依然として困難である。
LLMはコード生成にますます使われていますが、以前の研究は、正しいWeb API統合を生成する能力が制限されていることを実証的に示しています。
同時に、この設定に対する緩和技術とその有効性は、まだ十分に理解されていない。
本稿では,LLM生成Web API呼び出しコードを改善するための2つの補完的アプローチとして,検索拡張型生成(RAG)と制約付き復号化(CD)を提案する。
RAGのために、我々はOpenAPI仕様を処理し、モデルプロンプトに注入するためのコンパクトなエンドポイント表現を検索するレトリバーを設計する。
CDについては、OpenAPI仕様から生成時に強制されるregexベースの制約への自動翻訳を導入する。
我々は、WAPIIBenchの既存の合成データセットと、GitHubリポジトリから派生した新しい現実世界データセットの両方のアプローチを評価した。
以上の結果から,RAGは幻覚を減らし,全API呼び出し時の正当性を向上するが,エンドポイントがすでに提供されていた場合,不要なパラメータの生成を奨励する。
対照的に、CDは不正なURL、HTTPメソッド、引数を確実に防止し、両方のスターターコードの全体的な正しさを大幅に改善する。
関連論文リスト
- Environment-free Synthetic Data Generation for API-Calling Agents [68.95520739708304]
API呼び出し大型言語モデル(LLM)エージェントの訓練には、大量の高品質なトラジェクトリが必要である。
本研究では,LLMをオンザフライデジタルワールドモデルとして活用する環境不要な合成データ生成手法を提案する。
我々は,情報検索タスクと状態変更タスクの両方を含む,挑戦的なAppWorldとOfficeBenchベンチマークに対するアプローチを評価した。
論文 参考訳（メタデータ） (2026-07-18T17:36:44Z) - Framework-Aware Code Generation with API Knowledge Graph-Constructed Data: A Study on HarmonyOS [52.483888557864326]
APIKG4SYNはAPI指向の質問コードペアの構築にAPIナレッジグラフを活用するように設計されたフレームワークである。
APIKG4SYNを使ったHarmonyOSコード生成のための最初のベンチマークを構築した。
論文 参考訳（メタデータ） (2025-11-29T08:13:54Z) - Lightweight Model Editing for LLMs to Correct Deprecated API Recommendations [15.586818028794942]
事前訓練された大規模言語モデル(LLM)は、コード補完タスクにおいて強力なパフォーマンスを示している。
LLMは、将来のサードパーティライブラリではサポートされない非推奨のAPIを頻繁に生成する。
本稿では,AdaLoRA-Lを提案する。AdaLoRA-Lは"共通APIレイヤ"(すべてのAPIで高い重要性を持ち,一般的な知識を保存し,編集から除外されたレイヤ)を定義し,編集を"特定APIレイヤ"に限定する。
実験の結果、AdaLoRA-Lは他の評価指標と同等の性能を維持しながら、比例性を大幅に改善することが示された。
論文 参考訳（メタデータ） (2025-11-26T03:36:34Z) - DeepCodeSeek: Real-Time API Retrieval for Context-Aware Code Generation [0.0]
現在の検索技術は、標準的なRAGクエリドキュメントアプリケーションに限られている。
本稿では,必要なAPIを予測するためのコードとインデックスを拡張する新しい手法を提案する。
論文 参考訳（メタデータ） (2025-09-30T03:23:27Z) - Benchmarking Web API Integration Code Generation [3.5669873833301047]
We present WAPIIBench, a dataset and evaluation pipeline designed for the ability of LLMs to generate web API invocation code。
オープンソースのLLMを使った実験では、API呼び出しの生成が大きな課題となることが分かりました。
評価済みのオープンソースモデルはいずれも40%以上のタスクを解決できなかった。
論文 参考訳（メタデータ） (2025-09-24T14:36:44Z) - LRASGen: LLM-based RESTful API Specification Generation [3.420331911153286]
我々は,Large Language Models (LLM) を用いたAPIの OpenAPI Specification (OAS) 仕様を生成するための新しいアプローチを提案する。
既存のツールやメソッドと比較して、LRASGenは実装が不完全である場合でもOASを生成することができる(部分的なコード、アノテーション/コメントなど)。
LRASGenで作成された仕様は、開発者が提供する仕様よりも平均48.85%の欠落したエンティティをカバーしている。
論文 参考訳（メタデータ） (2025-04-23T15:52:50Z) - Type-Constrained Code Generation with Language Models [51.03439021895432]
本稿では,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。
そこで本研究では,新しい接頭辞オートマトンと,在来型を探索する手法を開発し,LLM生成コードに適切な型付けを強制するための健全なアプローチを構築した。
提案手法は,コード合成,翻訳,修復作業において,コンパイルエラーを半分以上削減し,機能的正しさを著しく向上させる。
論文 参考訳（メタデータ） (2025-04-12T15:03:00Z) - ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。
実験の結果、ExploreaCoderは、事前のAPI知識に欠けるモデルのパフォーマンスを大幅に改善することが示された。
論文 参考訳（メタデータ） (2024-12-06T19:00:15Z) - A Comprehensive Framework for Evaluating API-oriented Code Generation in Large Language Models [14.665460257371164]
GitHub CopilotやChatGPTのような大規模言語モデル(LLM)は、コード生成の強力なツールとして登場した。
API指向コード生成におけるLLMの機能を評価するために設計されたフレームワークであるAutoAPIEvalを提案する。
論文 参考訳（メタデータ） (2024-09-23T17:22:09Z) - FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。
既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。
本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
論文 参考訳（メタデータ） (2024-07-18T23:44:02Z) - Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。
評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
論文 参考訳（メタデータ） (2023-12-01T19:53:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。