論文の概要: MetaVul: Agentic Harness Discovery for Vulnerability Detection
- arxiv url: http://arxiv.org/abs/2610.40721v1
- Date: Thu, 29 Oct 2026 04:30:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.450136
- Title: MetaVul: Agentic Harness Discovery for Vulnerability Detection
- Title（参考訳）: MetaVul: 脆弱性検出のためのエージェントハーネス発見
- Abstract要約: 脆弱性検出における発見の活用を目的とした自己改善フレームワークであるMetaVulを紹介する。
各種アーキテクチャのエージェントハーネスの発見にMetaVulを適用した。
その結果、最適化されたハーネスは、バリデーションセットで最大23.3ポイント、ホールドアウトセットで最大25.8ポイントの脆弱性検出を改善することがわかった。
- 参考スコア（独自算出の注目度）: 11.012687220331186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM agents are increasingly used to automate vulnerability detection, but reliable detection is challenging because agents must distinguish subtle, security-relevant fixes from benign code variation. While underlying LLM capability has improved significantly, the accuracy of the agent still depends heavily on the harness: the code that defines the scaffolding around the LLM. Harnesses are typically fixed, and largely hand-written, limiting adaptation to evaluator feedback. Additionally, when harnesses are static, improvements on one dataset or model may not transfer to others. To address these challenges, we introduce MetaVul, a self-improving framework for harness discovery in vulnerability detection. Starting from a seed structured reasoning scaffold, MetaVul uses a workflow-based optimization loop to iteratively refine the harness using feedback from paired vulnerable and patched functions, while preserving the structured reasoning and verdict format. At each iteration, it searches over the history of prior harnesses, with access to their trajectories, logs, and metrics, and it returns a set of Pareto-optimal harnesses. We apply MetaVul to discover agent harnesses for various architectures. A validation set (202 pairs) is used for optimization, while an unseen dataset (430 pairs) is kept as the held-out set. We test whether harnesses learned from one model transfer to others not seen during optimization. Results on both frontier and small LLMs show that the optimized harnesses improve pairwise vulnerability detection up to 23.3 percentage points on the validation set and up to 25.8 points on the held-out set with a Pareto-frontier harness. Harnesses learned with one model also transfer to others. We show that harnesses optimized with one model transfer to another, improving held-out pairwise accuracy by 14.7 points without further optimization.
- Abstract（参考訳）: LLMエージェントは、脆弱性検出の自動化にますます使用されているが、エージェントが微妙でセキュリティ関連のある修正と良質なコードのバリエーションを区別する必要があるため、信頼性の高い検出は難しい。
LLMの能力は大幅に改善されているが、エージェントの精度は依然としてハーネスに大きく依存している。
ハーネスは通常固定され、主に手書きであり、評価器のフィードバックへの適応を制限する。
さらに、ハーネスが静的であれば、あるデータセットやモデルの改善は他のものには転送できない。
これらの課題に対処するために,脆弱性検出における発見を活用する自己改善フレームワークであるMetaVulを紹介した。
シード構造化推論スキャフォールドから始めて、MetaVulはワークフローベースの最適化ループを使用して、構造化推論と検証フォーマットを維持しながら、ペア付き脆弱性とパッチ付き関数からのフィードバックを使用して、ハーネスを反復的に洗練する。
各イテレーションで、トラジェクトリ、ログ、メトリクスにアクセスして、以前のハーネスの歴史を検索し、パレート最適化ハーネスのセットを返す。
各種アーキテクチャのエージェントハーネスの発見にMetaVulを適用した。
検証セット(202対)を最適化に使用し、未確認データセット(430対)をホールドアウトセットとして保持する。
最適化において、あるモデルから他のモデルへの変換から学んだハーネスが見えないかどうかをテストする。
また、フロンティアと小型のLCMでは、最適化されたハーネスは検証セットで最大23.3ポイント、パレートフロンティアハーネスでホールトアウトセットで最大25.8ポイントの脆弱性検出を改善することが示されている。
あるモデルで学んだハーネスも別のモデルに移行した。
1つのモデル転送に最適化されたハーネスが1つのモデル転送に最適化され、さらに最適化することなく、ペアワイズ精度が14.7ポイント向上したことを示す。
関連論文リスト
- ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization [49.998743946324424]
既存のメソッドは、主にハーネスの更新方法を最適化し、どのトレーニングシナリオがこれらの更新を駆動するフィードバックを生成するかを主に修正する。
ハーネスが進化するにつれて、さらなる最適化に最も有用なシナリオが変更され、トレーニングカリキュラム自体がハーネスに合わせて適応することが示唆される。
自動カリキュラム学習問題として、この欠落次元のハーネス最適化を定式化し、ActiveSaddlerを導入する。
論文 参考訳（メタデータ） (2026-10-01T01:36:03Z) - AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces [61.51487329124135]
AutoSaddlerは、オフラインの学習問題として改善を活用するフレームワークである。
ミニバッチからの障害信号を使用して、ハーネスを反復的に更新する。
GAIA2, SWE-Bench Pro, Terminal-Bench 2.0 の実験により, AutoSaddler はエージェント性能を大幅に向上することが示された。
論文 参考訳（メタデータ） (2026-08-24T09:45:08Z) - HarnessOpt-Bench: Evaluating LLMs at Harness Optimization [3.846854817984248]
高価な評価体制下でのエンド・ツー・エンドのハーネス最適化のためのベンチマークを導入する。
信頼された実行環境は、評価境界、ターゲットエージェントリソースの使用を強制し、監査のための候補バージョンを保存する。
実験結果から、モデルはコードハーネスよりも分離され、ネイティブハーネスは一貫して優れておらず、タスク間で利得が大きく異なることがわかった。
論文 参考訳（メタデータ） (2026-08-06T17:21:05Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - MemoHarness: Agent Harnesses That Learn from Experience [46.167787606315585]
私たちはMemoHarnessを紹介した。MemoHarnessは適応型ハーネス最適化フレームワークで、独自の実行から学習する。
MemoHarnessは、ハーネスを6つの編集可能なコントロールディメンションに分解し、ケースごとの診断と蒸留されたグローバルパターンを二重層体験バンクに格納する。
MemoHarnessは、シェルエージェント、コードジェネレーション、分析推論ベンチマークを対象とし、私たちが比較した固定ハーネスよりも改善し、目に見えないスイートやベースモデルへの選択的移行を示す。
論文 参考訳（メタデータ） (2026-07-14T21:22:18Z) - From Failed Trajectories to Reliable LLM Agents: Diagnosing and Repairing Harness Flaws [12.757205456771295]
本稿では,エージェント故障の診断と修復を行うためのトレースガイドフレームワークであるHarnessFixを提案する。
HarnessFixは生の実行トレースをコンパイルし、コードをHarness対応のトレース中間表現に変換する。
障害の原因は、責任ある軌道ステップとレイヤの活用、繰り返し診断を実行可能な欠陥レコードに集約し、スコープ化された修復オペレータにマップすることにある。
論文 参考訳（メタデータ） (2026-06-04T15:58:30Z) - Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。
RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。
1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
論文 参考訳（メタデータ） (2026-06-04T09:26:00Z) - Meta-Harness: End-to-End Optimization of Model Harnesses [52.31507076660471]
本稿では,大規模言語モデル(LLM)アプリケーションのためのコード検索を行う外部ループシステムであるMeta-Harnessを紹介する。
オンラインテキスト分類では、Meta-Harnessは4倍少ないコンテキストトークンを使用しながら、最先端のコンテキスト管理システムを7.7ポイント改善する。
検索強化数学推論では、200 IMOレベルの問題の精度を5つの保留モデルの平均4.7ポイント向上する。
論文 参考訳（メタデータ） (2026-03-30T05:33:50Z) - Semantics-Preserving Evasion of LLM Vulnerability Detectors [14.476903104601154]
LLMベースの脆弱性検知器は、セキュリティクリティカルなコードレビューにますますデプロイされている。
セマンティクス保存脅威モデルに基づく検出時間整合性の評価を行った。
異なる攻撃方法/キャリア間での関節の堅牢性の測定基準を導入する。
論文 参考訳（メタデータ） (2026-01-30T20:54:27Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - RePaCA: Leveraging Reasoning Large Language Models for Static Automated Patch Correctness Assessment [0.0]
本稿では,Large Language Models (LLM) を利用した新しい静的APCA手法であるRePaCAを紹介する。
提案手法は,83.1%の精度と84.8%のF1スコアで最先端の性能を実現する。
論文 参考訳（メタデータ） (2025-07-30T11:21:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。