論文の概要: The Midas Touch: Triggering the Capability of LLMs for RM-API Misuse Detection
- arxiv url: http://arxiv.org/abs/2409.09380v1
- Date: Sat, 14 Sep 2024 09:11:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 20:57:09.142442
- Title: The Midas Touch: Triggering the Capability of LLMs for RM-API Misuse Detection
- Title（参考訳）: Midas Touch:RM-APIミス検出のためのLCMの能力向上
- Authors: Yi Yang, Jinghua Liu, Kai Chen, Miaoqian Lin,
- Abstract要約: ChatDetectorは、RM-API誤用検出のためのドキュメント理解を完全に自動化する。
ChatDetectorは、最先端のAPI検出器と比較して、98.21%の精度で165組のRM-APIを識別する。
- 参考スコア（独自算出の注目度）: 26.28337534131051
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose an LLM-empowered RM-API misuse detection solution, ChatDetector, which fully automates LLMs for documentation understanding which helps RM-API constraints retrieval and RM-API misuse detection. To correctly retrieve the RM-API constraints, ChatDetector is inspired by the ReAct framework which is optimized based on Chain-of-Thought (CoT) to decompose the complex task into allocation APIs identification, RM-object (allocated/released by RM APIs) extraction and RM-APIs pairing (RM APIs usually exist in pairs). It first verifies the semantics of allocation APIs based on the retrieved RM sentences from API documentation through LLMs. Inspired by the LLMs' performance on various prompting methods,ChatDetector adopts a two-dimensional prompting approach for cross-validation. At the same time, an inconsistency-checking approach between the LLMs' output and the reasoning process is adopted for the allocation APIs confirmation with an off-the-shelf Natural Language Processing (NLP) tool. To accurately pair the RM-APIs, ChatDetector decomposes the task again and identifies the RM-object type first, with which it can then accurately pair the releasing APIs and further construct the RM-API constraints for misuse detection. With the diminished hallucinations, ChatDetector identifies 165 pairs of RM-APIs with a precision of 98.21% compared with the state-of-the-art API detectors. By employing a static detector CodeQL, we ethically report 115 security bugs on the applications integrating on six popular libraries to the developers, which may result in severe issues, such as Denial-of-Services (DoS) and memory corruption. Compared with the end-to-end benchmark method, the result shows that ChatDetector can retrieve at least 47% more RM sentences and 80.85% more RM-API constraints.
- Abstract（参考訳）: 本稿では, RM-API 制約の検索と RM-API の誤用検出を支援する文書理解のための LLM を完全に自動化した RM-API 誤用検出ソリューション ChatDetector を提案する。
RM-APIの制約を正しく取得するためにChatDetectorは、Chain-of-Thought(CoT)に基づいて最適化されたReActフレームワークにインスパイアされている。
まず、APIドキュメントからLLMを通じて取得したRM文に基づいて、アロケーションAPIの意味を検証します。
様々なプロンプト法でLLMのパフォーマンスにインスパイアされたChatDetectorは、クロスバリデーションのための2次元プロンプトアプローチを採用する。
同時に、既製の自然言語処理(NLP)ツールによるアロケーションAPIの確認には、LCMの出力と推論プロセスとの間の矛盾チェックアプローチが採用されている。
RM-APIを正確にペアリングするために、ChatDetectorは再びタスクを分解し、まずRM-オブジェクトタイプを識別する。
幻覚の減少に伴い、ChatDetectorは最先端のAPI検出器と比較して、98.21%の精度で165組のRM-APIを識別する。
静的検出ツールのCodeQLを使用することで、開発者に対して6つの人気のあるライブラリを統合するアプリケーションの115のセキュリティバグを倫理的に報告します。
エンドツーエンドのベンチマーク手法と比較すると、ChatDetectorは少なくとも47%以上のRM文と80.85%以上のRM-API制約を検索できる。
関連論文リスト
- Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。
対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。
我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
論文 参考訳（メタデータ） (2025-02-03T18:35:42Z) - Your Fix Is My Exploit: Enabling Comprehensive DL Library API Fuzzing with Large Language Models [49.214291813478695]
AIアプリケーションで広く使用されているディープラーニング(DL)ライブラリは、オーバーフローやバッファフリーエラーなどの脆弱性を含むことが多い。
従来のファジィングはDLライブラリの複雑さとAPIの多様性に悩まされている。
DLライブラリのためのLLM駆動ファジィ手法であるDFUZZを提案する。
論文 参考訳（メタデータ） (2025-01-08T07:07:22Z) - ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。
ExploraCoderは,事前のAPI知識を欠いたモデルのパフォーマンスを著しく向上させ,NAGアプローチの11.24%,pass@10の事前トレーニングメソッドの14.07%を絶対的に向上させることを示す。
論文 参考訳（メタデータ） (2024-12-06T19:00:15Z) - A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs [46.65963514391019]
私たちは、REST APIテストに依存性組み込みのマルチエージェントアプローチを採用する最初のブラックボックスツールであるAutoRestTestを紹介します。
このアプローチでは、REST APIテストを分離可能な問題として扱い、4人のエージェントがAPI探索を最適化するために協力します。
12の現実世界のRESTサービス上でのAutoRestTestの評価は、主要な4つのブラックボックスREST APIテストツールよりも優れています。
論文 参考訳（メタデータ） (2024-11-11T16:20:27Z) - AutoFeedback: An LLM-based Framework for Efficient and Accurate API Request Generation [16.590226868986296]
AutoFeedbackは、効率的で正確なAPIリクエスト生成のためのフレームワークである。
大規模言語モデルによるAPIリクエストの生成プロセス中に2つのフィードバックループを実装している。
実際のAPIデータセットで100.00%の精度を実現し、GPT-3.5 Turboとのインタラクションコストを23.44%削減し、GPT-4 Turboを11.85%削減する。
論文 参考訳（メタデータ） (2024-10-09T14:38:28Z) - SEAL: Suite for Evaluating API-use of LLMs [1.2528321519119252]
SEALは、現実世界のAPI使用時に大きな言語モデルを評価するように設計されたエンドツーエンドのテストベッドである。
既存のベンチマークを標準化し、API検索と計画をテストするエージェントシステムを統合し、リアルタイムAPIの不安定性に対処する。
論文 参考訳（メタデータ） (2024-09-23T20:16:49Z) - Generating API Parameter Security Rules with LLM for API Misuse Detection [26.28337534131051]
LLMを用いたAPIソースコード解析により,APSRの自動生成のためのGPTAidという新しいフレームワークを提案する。
セキュリティクリティカルなAPIの誤用がAPSR違反によってしばしば引き起こされるという観察に基づく,実行時のフィードバックチェック手法を提案する。
GPTAidは92.3%の精度を達成し、最先端検出器の6倍のAPSRを生成する。
論文 参考訳（メタデータ） (2024-09-14T03:34:43Z) - FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。
既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。
本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
論文 参考訳（メタデータ） (2024-07-18T23:44:02Z) - A Solution-based LLM API-using Methodology for Academic Information Seeking [49.096714812902576]
SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。
ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。
その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
論文 参考訳（メタデータ） (2024-05-24T02:44:14Z) - Are Human Rules Necessary? Generating Reusable APIs with CoT Reasoning and In-Context Learning [14.351476383642016]
そこで我々は,Stack OverflowコードスニペットのAPIzationを自動的に実行する,Code2APIという新しいアプローチを提案する。
Code2APIは、追加のモデルトレーニングや手作業のルールを必要としない。
他の外部ツールに頼ることなく、パーソナルコンピュータに簡単にデプロイできる。
論文 参考訳（メタデータ） (2024-05-06T14:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。