Fugu-MT 論文翻訳(概要): LLM-assisted Mutation for Whitebox API Testing

論文の概要: LLM-assisted Mutation for Whitebox API Testing

arxiv url: http://arxiv.org/abs/2504.05738v1
Date: Tue, 08 Apr 2025 07:14:51 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-09 13:30:59.148904
Title: LLM-assisted Mutation for Whitebox API Testing
Title（参考訳）: LLMによるWhitebox APIテストのためのミューテーション
Authors: Jia Li, Jiacheng Shen, Yuxin Su, Michael R. Lyu,
Abstract要約: MioHintは、LLM(Large Language Model)のコード理解機能を活用して、APIテストを促進する、新しいホワイトボックスAPIテストアプローチである。提案手法の有効性を評価するため,16の実世界のAPIサービスを対象に実験を行った。
参考スコア（独自算出の注目度）: 40.91007243855959
License:
Abstract: Cloud applications heavily rely on APIs to communicate with each other and exchange data. To ensure the reliability of cloud applications, cloud providers widely adopt API testing techniques. Unfortunately, existing API testing approaches are insufficient to reach strict conditions, a problem known as fitness plateaus, due to the lack of gradient provided by coverage metrics. To address this issue, we propose MioHint, a novel white-box API testing approach that leverages the code comprehension capabilities of Large Language Model (LLM) to boost API testing. The key challenge of LLM-based API testing lies in system-level testing, which emphasizes the dependencies between requests and targets across functions and files, thereby making the entire codebase the object of analysis. However, feeding the entire codebase to an LLM is impractical due to its limited context length and short memory. MioHint addresses this challenge by synergizing static analysis with LLMs. We retrieve relevant code with data-dependency analysis at the statement level, including def-use analysis for variables used in the target and function expansion for subfunctions called by the target. To evaluate the effectiveness of our method, we conducted experiments across 16 real-world REST API services. The findings reveal that MioHint achieves an average increase of 4.95% absolute in line coverage compared to the baseline, EvoMaster, alongside a remarkable factor of 67x improvement in mutation accuracy. Furthermore, our method successfully covers over 57% of hard-to-cover targets while in baseline the coverage is less than 10%.
Abstract（参考訳）: クラウドアプリケーションは互いに通信し、データを交換するAPIに大きく依存する。クラウドアプリケーションの信頼性を確保するため、クラウドプロバイダはAPIテストテクニックを広く採用している。残念ながら、既存のAPIテストアプローチは厳格な条件に達するには不十分である。この問題に対処するため,我々は,Large Language Model(LLM)のコード理解機能を活用してAPIテストを促進する,新しいホワイトボックスAPIテストアプローチであるMioHintを提案する。 LLMベースのAPIテストの主要な課題は、システムレベルのテストである。これは、関数やファイル間の要求とターゲット間の依存関係を強調し、コードベース全体が分析対象になる。しかし、LLMにコードベース全体を供給することは、コンテキスト長とメモリの短さが原因で現実的ではない。 MioHintはこの課題に対して,静的解析とLLMを併用することで対処している。文レベルでのデータ依存分析を施した関連コードを検索し、ターゲットで使用される変数のデファクトユース分析と、ターゲットが呼び出すサブファンクションの関数拡張を含む。提案手法の有効性を評価するため,実世界16のREST APIサービスを対象に実験を行った。その結果,MioHintはベースラインであるEvoMasterと比較して平均4.95%のラインカバレッジを達成し,突然変異精度は67倍向上した。さらに,本手法は,ベースラインでのカバー率は10%以下である一方,ハード・ツー・カバー対象の57%以上をカバーできる。

関連論文リスト

Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
論文参考訳（メタデータ） (2025-02-03T18:35:42Z)
Utilizing API Response for Test Refinement [2.8002188463519944]
本稿では,応答メッセージを利用した動的テスト改善手法を提案する。インテリジェントエージェントを使用すると、テストシナリオを生成するためにさらに使用されるAPI仕様に制約が追加される。提案されたアプローチは、4xxレスポンスの数を減少させ、より現実的なテストケースを生成するための一歩を踏み出した。
論文参考訳（メタデータ） (2025-01-30T05:26:32Z)
Your Fix Is My Exploit: Enabling Comprehensive DL Library API Fuzzing with Large Language Models [49.214291813478695]
AIアプリケーションで広く使用されているディープラーニング(DL)ライブラリは、オーバーフローやバッファフリーエラーなどの脆弱性を含むことが多い。従来のファジィングはDLライブラリの複雑さとAPIの多様性に悩まされている。 DLライブラリのためのLLM駆動ファジィ手法であるDFUZZを提案する。
論文参考訳（メタデータ） (2025-01-08T07:07:22Z)
MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark [57.999567012489706]
我々は,MMLU-CFと呼ばれる汚染のない,より困難なベンチマークを提案する。このベンチマークは、意図しないデータ漏洩と悪意のないデータ漏洩の両方を回避することで、LLMの世界の知識に対する理解を再評価する。 GPT-4o は 5 ショットスコア73.4% と 0 ショットスコア71.9% しか達成できない。
論文参考訳（メタデータ） (2024-12-19T18:58:04Z)
LLM Based Input Space Partitioning Testing for Library APIs [13.070272424794744]
ライブラリAPIテストのための LLM ベースの入力空間分割テスト手法 LISP を提案する。 LISPを10の人気のあるオープンソースJavaライブラリから抽出した2,205以上のライブラリAPIメソッドで評価する。平均して、LISPは67.82%のブランチカバレッジを獲得し、EvoSuiteを1.21倍上回っている。
論文参考訳（メタデータ） (2024-12-15T17:50:50Z)
ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 ExploraCoderは,事前のAPI知識を欠いたモデルのパフォーマンスを著しく向上させ,NAGアプローチの11.24%,pass@10の事前トレーニングメソッドの14.07%を絶対的に向上させることを示す。
論文参考訳（メタデータ） (2024-12-06T19:00:15Z)
A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs [46.65963514391019]
私たちは、REST APIテストに依存性組み込みのマルチエージェントアプローチを採用する最初のブラックボックスツールであるAutoRestTestを紹介します。このアプローチでは、REST APIテストを分離可能な問題として扱い、4人のエージェントがAPI探索を最適化するために協力します。 12の現実世界のRESTサービス上でのAutoRestTestの評価は、主要な4つのブラックボックスREST APIテストツールよりも優れています。
論文参考訳（メタデータ） (2024-11-11T16:20:27Z)
Reinforcement Learning-Based REST API Testing with Multi-Coverage [4.127886193201882]
MUCORESTは、Qラーニングを利用してコードカバレッジと出力カバレッジを最大化する、新しい強化学習(RL)ベースのAPIテストアプローチである。 MUCORESTは、発見されたAPIバグの数で、最先端のAPIテストアプローチを11.6-261.1%上回っている。
論文参考訳（メタデータ） (2024-10-20T14:20:23Z)
SEAL: Suite for Evaluating API-use of LLMs [1.2528321519119252]
SEALは、現実世界のAPI使用時に大きな言語モデルを評価するように設計されたエンドツーエンドのテストベッドである。既存のベンチマークを標準化し、API検索と計画をテストするエージェントシステムを統合し、リアルタイムAPIの不安定性に対処する。
論文参考訳（メタデータ） (2024-09-23T20:16:49Z)
A Solution-based LLM API-using Methodology for Academic Information Seeking [49.096714812902576]
SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
論文参考訳（メタデータ） (2024-05-24T02:44:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。