Fugu-MT 論文翻訳(概要): LLM-assisted Mutation for Whitebox API Testing

論文の概要: LLM-assisted Mutation for Whitebox API Testing

arxiv url: http://arxiv.org/abs/2504.05738v1
Date: Tue, 08 Apr 2025 07:14:51 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-16 23:54:44.390142
Title: LLM-assisted Mutation for Whitebox API Testing
Title（参考訳）: LLMによるWhitebox APIテストのためのミューテーション
Authors: Jia Li, Jiacheng Shen, Yuxin Su, Michael R. Lyu,
Abstract要約: MioHintは、LLM(Large Language Model)のコード理解機能を活用して、APIテストを促進する、新しいホワイトボックスAPIテストアプローチである。提案手法の有効性を評価するため,16の実世界のAPIサービスを対象に実験を行った。
参考スコア（独自算出の注目度）: 40.91007243855959
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Cloud applications heavily rely on APIs to communicate with each other and exchange data. To ensure the reliability of cloud applications, cloud providers widely adopt API testing techniques. Unfortunately, existing API testing approaches are insufficient to reach strict conditions, a problem known as fitness plateaus, due to the lack of gradient provided by coverage metrics. To address this issue, we propose MioHint, a novel white-box API testing approach that leverages the code comprehension capabilities of Large Language Model (LLM) to boost API testing. The key challenge of LLM-based API testing lies in system-level testing, which emphasizes the dependencies between requests and targets across functions and files, thereby making the entire codebase the object of analysis. However, feeding the entire codebase to an LLM is impractical due to its limited context length and short memory. MioHint addresses this challenge by synergizing static analysis with LLMs. We retrieve relevant code with data-dependency analysis at the statement level, including def-use analysis for variables used in the target and function expansion for subfunctions called by the target. To evaluate the effectiveness of our method, we conducted experiments across 16 real-world REST API services. The findings reveal that MioHint achieves an average increase of 4.95% absolute in line coverage compared to the baseline, EvoMaster, alongside a remarkable factor of 67x improvement in mutation accuracy. Furthermore, our method successfully covers over 57% of hard-to-cover targets while in baseline the coverage is less than 10%.
Abstract（参考訳）: クラウドアプリケーションは互いに通信し、データを交換するAPIに大きく依存する。クラウドアプリケーションの信頼性を確保するため、クラウドプロバイダはAPIテストテクニックを広く採用している。残念ながら、既存のAPIテストアプローチは厳格な条件に達するには不十分である。この問題に対処するため,我々は,Large Language Model(LLM)のコード理解機能を活用してAPIテストを促進する,新しいホワイトボックスAPIテストアプローチであるMioHintを提案する。 LLMベースのAPIテストの主要な課題は、システムレベルのテストである。これは、関数やファイル間の要求とターゲット間の依存関係を強調し、コードベース全体が分析対象になる。しかし、LLMにコードベース全体を供給することは、コンテキスト長とメモリの短さが原因で現実的ではない。 MioHintはこの課題に対して,静的解析とLLMを併用することで対処している。文レベルでのデータ依存分析を施した関連コードを検索し、ターゲットで使用される変数のデファクトユース分析と、ターゲットが呼び出すサブファンクションの関数拡張を含む。提案手法の有効性を評価するため,実世界16のREST APIサービスを対象に実験を行った。その結果,MioHintはベースラインであるEvoMasterと比較して平均4.95%のラインカバレッジを達成し,突然変異精度は67倍向上した。さらに,本手法は,ベースラインでのカバー率は10%以下である一方,ハード・ツー・カバー対象の57%以上をカバーできる。

関連論文リスト

Combining Static and Dynamic Approaches for Mining and Testing Constraints for RESTful API Testing [8.972346309150199]
本稿では,新しい静的解析手法(APIレスポンスボディの制約をAPI仕様から抽出する)と動的アプローチを組み合わせることを提案する。大きな言語モデル(LLM)を活用して、API仕様を理解し、レスポンスボディの制約をマイニングし、テストケースを生成します。また、生成されたテストケースを使用して、実世界の8つのAPIに対して、API仕様と実際のレスポンスデータとの間の21のミスマッチを検出します。
論文参考訳（メタデータ） (2025-04-24T06:28:18Z)
Test Amplification for REST APIs via Single and Multi-Agent LLM Systems [1.6499388997661122]
単一エージェントとマルチエージェントのLLMシステムがREST APIテストスイートを増幅する方法について示す。評価では、APIカバレッジの向上、テスト中のAPIの多数のバグの特定、および両アプローチの計算コストとエネルギー消費に関する洞察を示す。
論文参考訳（メタデータ） (2025-04-10T20:19:50Z)
Identifying and Mitigating API Misuse in Large Language Models [26.4403427473915]
大規模言語モデル(LLM)が生成するコードのAPI誤用は、ソフトウェア開発において深刻な課題となっている。本稿では LLM 生成コードにおける API の誤用パターンについて,Python および Java 間でのメソッド選択とパラメータ使用法の両方を解析し,総合的研究を行った。上記の分類に基づくAPI誤用に対する新しいLCMベースの自動プログラム修復手法であるDr.Fixを提案する。
論文参考訳（メタデータ） (2025-03-28T18:43:12Z)
Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
論文参考訳（メタデータ） (2025-02-03T18:35:42Z)
Utilizing API Response for Test Refinement [2.8002188463519944]
本稿では,応答メッセージを利用した動的テスト改善手法を提案する。インテリジェントエージェントを使用すると、テストシナリオを生成するためにさらに使用されるAPI仕様に制約が追加される。提案されたアプローチは、4xxレスポンスの数を減少させ、より現実的なテストケースを生成するための一歩を踏み出した。
論文参考訳（メタデータ） (2025-01-30T05:26:32Z)
Your Fix Is My Exploit: Enabling Comprehensive DL Library API Fuzzing with Large Language Models [49.214291813478695]
AIアプリケーションで広く使用されているディープラーニング(DL)ライブラリは、オーバーフローやバッファフリーエラーなどの脆弱性を含むことが多い。従来のファジィングはDLライブラリの複雑さとAPIの多様性に悩まされている。 DLライブラリのためのLLM駆動ファジィ手法であるDFUZZを提案する。
論文参考訳（メタデータ） (2025-01-08T07:07:22Z)
MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark [57.999567012489706]
我々は,MMLU-CFと呼ばれる汚染のない,より困難なベンチマークを提案する。このベンチマークは、意図しないデータ漏洩と悪意のないデータ漏洩の両方を回避することで、LLMの世界の知識に対する理解を再評価する。 GPT-4o は 5 ショットスコア73.4% と 0 ショットスコア71.9% しか達成できない。
論文参考訳（メタデータ） (2024-12-19T18:58:04Z)
ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 ExploraCoderは,事前のAPI知識を欠いたモデルのパフォーマンスを著しく向上させ,NAGアプローチの11.24%,pass@10の事前トレーニングメソッドの14.07%を絶対的に向上させることを示す。
論文参考訳（メタデータ） (2024-12-06T19:00:15Z)
A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs [46.65963514391019]
私たちは、REST APIテストに依存性組み込みのマルチエージェントアプローチを採用する最初のブラックボックスツールであるAutoRestTestを紹介します。このアプローチでは、REST APIテストを分離可能な問題として扱い、4人のエージェントがAPI探索を最適化するために協力します。 12の現実世界のRESTサービス上でのAutoRestTestの評価は、主要な4つのブラックボックスREST APIテストツールよりも優れています。
論文参考訳（メタデータ） (2024-11-11T16:20:27Z)
Reinforcement Learning-Based REST API Testing with Multi-Coverage [4.127886193201882]
MUCORESTは、Qラーニングを利用してコードカバレッジと出力カバレッジを最大化する、新しい強化学習(RL)ベースのAPIテストアプローチである。 MUCORESTは、発見されたAPIバグの数で、最先端のAPIテストアプローチを11.6-261.1%上回っている。
論文参考訳（メタデータ） (2024-10-20T14:20:23Z)
A Solution-based LLM API-using Methodology for Academic Information Seeking [49.096714812902576]
SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
論文参考訳（メタデータ） (2024-05-24T02:44:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。