論文の概要: Improving Examples in Web API Specifications using Iterated-Calls In-Context Learning

• arxiv url: http://arxiv.org/abs/2504.07250v1
• Date: Wed, 09 Apr 2025 19:43:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:22:33.057271
• Title: Improving Examples in Web API Specifications using Iterated-Calls In-Context Learning
• Title（参考訳）: 反復型インコンテキスト学習によるWeb API仕様の例の改善
• Authors: Kush Jain, Kiran Kate, Jason Tsay, Claire Le Goues, Martin Hirzel,
• Abstract要約: Web API仕様の例は、APIテスト、API理解、さらにはAPIのチャットボット構築に不可欠である。 本稿では、Web API仕様の例を作成するための新しいテクニックを紹介する。
• 参考スコア（独自算出の注目度）: 10.765783086285689
• License:
• Abstract: Examples in web API specifications can be essential for API testing, API understanding, and even building chat-bots for APIs. Unfortunately, most API specifications lack human-written examples. This paper introduces a novel technique for generating examples for web API specifications. We start from in-context learning (ICL): given an API parameter, use a prompt context containing a few examples from other similar API parameters to call a model to generate new examples. However, while ICL tends to generate correct examples, those lack diversity, which is also important for most downstream tasks. Therefore, we extend the technique to iterated-calls ICL (ICICL): use a few different prompt contexts, each containing a few examples,to iteratively call the model with each context. Our intrinsic evaluation demonstrates that ICICL improves both correctness and diversity of generated examples. More importantly, our extrinsic evaluation demonstrates that those generated examples significantly improve the performance of downstream tasks of testing, understanding, and chat-bots for APIs.
• Abstract（参考訳）: Web API仕様の例は、APIテスト、API理解、さらにはAPIのチャットボット構築に不可欠である。 残念なことに、ほとんどのAPI仕様には人手による例がない。 本稿では、Web API仕様の例を作成するための新しいテクニックを紹介する。 APIパラメータが与えられたら、他の類似したAPIパラメータのいくつかの例を含むプロンプトコンテキストを使用して、モデルを呼び出すことで、新しいサンプルを生成します。 しかし、ICLは正しい例を生成する傾向にあるが、これらは多様性を欠いているため、ほとんどの下流タスクにおいても重要である。 そこで,本手法をICICL (Iterated-calls ICL) に拡張し,いくつかの異なるプロンプトコンテキストを用いて各コンテキストで反復的にモデルを呼び出す。 我々の本質的な評価は、ICICLが生成したサンプルの正しさと多様性の両方を改善していることを示している。 さらに重要なことは、これらの生成された例は、APIのテスト、理解、チャットボットといった下流タスクのパフォーマンスを大幅に改善することを示したことです。

関連論文リスト

• APIRL: Deep Reinforcement Learning for REST API Fuzzing [3.053989095162017]
  APIRLは、REST APIをテストするための、完全に自動化された深層強化学習ツールである。 APIRLは、現実世界のREST APIの最先端よりも、はるかに多くのバグを見つけることができます。
  論文  参考訳（メタデータ） (2024-12-20T15:40:51Z)
• ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
  ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 ExploraCoderは,事前のAPI知識を欠いたモデルのパフォーマンスを著しく向上させ,NAGアプローチの11.24%,pass@10の事前トレーニングメソッドの14.07%を絶対的に向上させることを示す。
  論文  参考訳（メタデータ） (2024-12-06T19:00:15Z)
• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• A Systematic Evaluation of Large Code Models in API Suggestion: When, Which, and How [53.65636914757381]
  API提案は、現代のソフトウェア開発において重要なタスクである。 大規模コードモデル(LCM)の最近の進歩は、API提案タスクにおいて有望であることを示している。
  論文  参考訳（メタデータ） (2024-09-20T03:12:35Z)
• WorldAPIs: The World Is Worth How Many APIs? A Thought Experiment [49.00213183302225]
  本稿では, wikiHow 命令をエージェントの配置ポリシーに基礎付けることで, 新たな API を創出するフレームワークを提案する。 大規模言語モデル (LLM) の具体化計画における近年の成功に触発されて, GPT-4 のステアリングを目的とした数発のプロンプトを提案する。
  論文  参考訳（メタデータ） (2024-07-10T15:52:44Z)
• SpeCrawler: Generating OpenAPI Specifications from API Documentation Using Large Language Models [8.372941103284774]
  SpeCrawlerは、さまざまなAPIドキュメントからOpenAPI仕様を生成する包括的なシステムである。 本稿では,実証的証拠とケーススタディに支えられたSpeCrawlerの方法論について考察する。
  論文  参考訳（メタデータ） (2024-02-18T15:33:24Z)
• Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
  RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。 評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T19:53:23Z)
• Exploring Behaviours of RESTful APIs in an Industrial Setting [0.43012765978447565]
  これらのAPIが示す振る舞いの例を生成するために,REST APIに共通する一連の動作特性を提案する。 これらの例は、APIの理解を深めるために(i)、自動テストケースのソースとして(ii)の両方に使用することができます。 提案手法は,システム理解と実践者によるテスト生成の源泉として考えられる例を生成することができる。
  論文  参考訳（メタデータ） (2023-10-26T11:33:11Z)
• Exploring API Behaviours Through Generated Examples [0.768721532845575]
  本稿では,APIの動作に関する関連事例を自動的に生成するアプローチを提案する。 我々の手法は、探索中のシステムを理解するのに役立つ、小さくて関連する例を生成することができる。
  論文  参考訳（メタデータ） (2023-08-29T11:05:52Z)
• Structured Prompting: Scaling In-Context Learning to 1,000 Examples [78.41281805608081]
  長さ制限を破り、文脈内学習を数千の例に拡張する構造化プロンプトを導入する。 具体的には、デモ例は、適切に設計された位置埋め込みで別々にエンコードされ、その後、再スケールされた注意機構を使用してテスト例に共同で出席する。
  論文  参考訳（メタデータ） (2022-12-13T16:31:21Z)
• On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
  開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。 開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。 既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
  論文  参考訳（メタデータ） (2022-04-05T20:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。