論文の概要: Let the Trial Begin: A Mock-Court Approach to Vulnerability Detection using LLM-Based Agents

• arxiv url: http://arxiv.org/abs/2505.10961v1
• Date: Fri, 16 May 2025 07:54:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.286793
• Title: Let the Trial Begin: A Mock-Court Approach to Vulnerability Detection using LLM-Based Agents
• Title（参考訳）: Let the Trial Begin: A Mock-Court Approach to Vulnerability Detection using LLM-based Agents (特集 バイオサイバネティックスとバイオサイバネティックス)
• Authors: Ratnadira Widyasari, Martin Weyssow, Ivana Clairine Irsan, Han Wei Ang, Frank Liauw, Eng Lieh Ouh, Lwin Khin Shar, Hong Jin Kang, David Lo,
• Abstract要約: VulTrialは、自動脆弱性検出を強化するために設計された法廷インスパイアされたフレームワークである。 セキュリティ研究者、コード作者、モデレーター、レビューボードの4つの役割専門エージェントを雇用している。 GPT-3.5とGPT-4oを使用して、VulTrialはそれぞれのベースラインに対して102.39%、84.17%の性能を向上させる。
• 参考スコア（独自算出の注目度）: 10.378745306569053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting vulnerabilities in source code remains a critical yet challenging task, especially when benign and vulnerable functions share significant similarities. In this work, we introduce VulTrial, a courtroom-inspired multi-agent framework designed to enhance automated vulnerability detection. It employs four role-specific agents, which are security researcher, code author, moderator, and review board. Through extensive experiments using GPT-3.5 and GPT-4o we demonstrate that Vultrial outperforms single-agent and multi-agent baselines. Using GPT-4o, VulTrial improves the performance by 102.39% and 84.17% over its respective baseline. Additionally, we show that role-specific instruction tuning in multi-agent with small data (50 pair samples) improves the performance of VulTrial further by 139.89% and 118.30%. Furthermore, we analyze the impact of increasing the number of agent interactions on VulTrial's overall performance. While multi-agent setups inherently incur higher costs due to increased token usage, our findings reveal that applying VulTrial to a cost-effective model like GPT-3.5 can improve its performance by 69.89% compared to GPT-4o in a single-agent setting, at a lower overall cost.
• Abstract（参考訳）: 特に良識と脆弱な関数が大きな類似点を共有している場合、ソースコードの脆弱性の検出は依然として重要な課題である。 本稿では,自動脆弱性検出の高速化を目的とした法廷インスパイアされたマルチエージェントフレームワークであるVulTrialを紹介する。 セキュリティ研究者、コード作者、モデレーター、レビューボードの4つの役割専門エージェントを雇用している。 GPT-3.5 と GPT-4o を用いた広範な実験により、Vultrial は単エージェントと多エージェントのベースラインより優れていることを示した。 GPT-4oを使用すると、VulTrialはそれぞれのベースラインに対して102.39%、84.17%の性能向上を行う。 さらに,小データ(50対サンプル)を持つマルチエージェントにおけるロール固有命令チューニングにより,VulTrialの性能が139.89%,118.30%向上することを示す。 さらに,VulTrialの全体的な性能に及ぼすエージェント間相互作用数の増加の影響を解析した。 トークン使用量の増加により,マルチエージェントのセットアップは本質的にコストが高くなるが,GPT-3.5のようなコスト効率のよいモデルにVulTrialを適用すると,シングルエージェント環境でのGPT-4oに比べて69.89%向上し,全体的なコストは低下する。

関連論文リスト

• AgentXploit: End-to-End Redteaming of Black-Box AI Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジィングフレームワークであるAgentXploitを提案する。 我々は、AgentXploitをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)
• SelfCheckAgent: Zero-Resource Hallucination Detection in Generative Large Language Models [0.16385815610837165]
  SelfCheckAgentは、3つの異なるエージェントを統合する新しいフレームワークである。 これらのエージェントは幻覚検出に対する堅牢な多次元アプローチを提供する。 このフレームワークには三角形戦略も組み込まれており、SelfCheckAgentの強みを高めている。
  論文  参考訳（メタデータ） (2025-02-03T20:42:32Z)
• ExACT: Teaching AI Agents to Explore with Reflective-MCTS and Exploratory Learning [78.42927884000673]
  ExACTは、エージェントアプリケーションのためのo1のようなモデルを構築するために、テスト時間検索と自己学習を組み合わせるアプローチである。 リフレクティブモンテカルロ木探索(Reflective Monte Carlo Tree Search, R-MCTS)は、AIエージェントがその場で意思決定空間を探索する能力を高めるために設計された新しいテストタイムアルゴリズムである。 次に,探索学習(Exploratory Learning)という,外部探索アルゴリズムに頼らずに,エージェントに推論時間での探索を教える新しい学習戦略を紹介する。
  論文  参考訳（メタデータ） (2024-10-02T21:42:35Z)
• Exploring RAG-based Vulnerability Augmentation with LLMs [19.45598962972431]
  VulScribeRは、慎重にキュレートされたプロンプトテンプレートを利用して脆弱なデータセットを拡張する新しいソリューションである。 我々のアプローチでは、VulgenとVGXの2つのSOTAメソッドを破り、Random Oversampling(ROS)を27.48%、27.93%、f1スコアで15.41%、平均5Kで弱いサンプルを生成した。
  論文  参考訳（メタデータ） (2024-08-07T23:22:58Z)
• 360$^\circ$REA: Towards A Reusable Experience Accumulation with 360° Assessment for Multi-Agent System [71.96888731208838]
  評価フィードバックからの経験を総合的に評価し蓄積することは、システム性能を改善するための効果的なアプローチである、と我々は主張する。 企業組織の実践にインスパイアされた階層的なマルチエージェントフレームワークである360$circ$REA(360$circ$REA)による再利用可能なエクスペリエンス蓄積を提案する。
  論文  参考訳（メタデータ） (2024-04-08T14:43:13Z)
• Leveraging Large Language Models to Detect npm Malicious Packages [4.479741014073169]
  本研究では,Large Language Models (LLMs) の有効性を実証的に検討した。 我々は、悪意のあるコードを検出する悪意のあるコードレビューワークフローであるSocketAIを紹介する。
  論文  参考訳（メタデータ） (2024-03-18T19:10:12Z)
• G$^2$uardFL: Safeguarding Federated Learning Against Backdoor Attacks through Attributed Client Graph Clustering [116.4277292854053]
  Federated Learning (FL)は、データ共有なしで協調的なモデルトレーニングを提供する。 FLはバックドア攻撃に弱いため、有害なモデル重みがシステムの整合性を損なう。 本稿では、悪意のあるクライアントの識別を属性グラフクラスタリング問題として再解釈する保護フレームワークであるG$2$uardFLを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:15:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。