論文の概要: How Much Does the Harness Matter, and for Whom? A Multi-Model Study of Context in LLM-Driven Vulnerability Discovery

• arxiv url: http://arxiv.org/abs/2610.28802v1
• Date: Tue, 20 Oct 2026 18:25:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.121622
• Title: How Much Does the Harness Matter, and for Whom? A Multi-Model Study of Context in LLM-Driven Vulnerability Discovery
• Title（参考訳）: ハーネスはどれくらい重要か? LLM駆動型脆弱性発見におけるコンテキストのマルチモデル研究
• Abstract要約: 我々は,スキャン時に脆弱性が公開されていない製品上で,オープンソースのハーネスを用いた24のモデルランナ構成について検討した。 265以上のセキュリティの根本原因が確認され、最大の2ラン構成は60.4%をカバーし、14.3%は正確に1つのモデルで発見されている。 これらの結果は、タスクに対するマッチングモデル、プロンプト、コンテキストをサポートし、より広範なカバレッジのための構成の組み合わせをサポートする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How much does an agent harness affect vulnerability discovery, and does its value depend on the model? We study 24 model-runner configurations using an open-source harness on a production codebase whose vulnerabilities were non-public at scan time. The pipeline combines static screening, LLM investigation, model self-revalidation, root-cause mapping, independent source review, and isolated proof-of-concept confirmation. Across 265 confirmed security root causes, the largest two-run configuration covers 60.4%, while 14.3% are found by exactly one model. No single configuration covers all observed findings. In a four-model context experiment, moving from a minimal prompt to an engineered prompt with a CodeQL-derived call graph raises criticality-weighted yield by 20-86% for smaller and mid-tier models, compared with 2% for the frontier model. This comparison changes both prompt and context. Separating those effects shows that the engineered prompt improves yield for all four models, while adding CodeQL context beyond that prompt improves yield only for the smallest model. A held-out CyberGym subset shows the same direction of target-recall improvement for the combined treatment. Frontier models achieve low false-report rates but do not consistently achieve the highest yield. Strong lower-cost models can deliver similar performance at an order of magnitude lower cost. These results support matching models, prompts, and context to the task, and combining configurations for broader coverage.
• Abstract（参考訳）: エージェントは脆弱性発見にどの程度影響し、その価値はモデルに依存していますか? スキャン時に脆弱性が公開されていない実運用コードベース上で,オープンソースのハーネスを用いた24のモデルランナ構成について検討した。 パイプラインは、静的スクリーニング、LCM調査、モデル自己回帰、ルート原因マッピング、独立したソースレビュー、分離された概念実証を組み合わせている。 265以上のセキュリティの根本原因が確認され、最大の2ラン構成は60.4%をカバーし、14.3%は正確に1つのモデルで発見されている。 すべての観察結果をカバーする単一の構成は存在しない。 4つのモデルのコンテキスト実験では、最小限のプロンプトから、CodeQL由来のコールグラフによるエンジニアリングプロンプトに移行することで、フロンティアモデルの2%と比較して、小規模および中級モデルの臨界重み付き収率を20～86%向上させる。 この比較は、プロンプトとコンテキストの両方を変える。 これらのエフェクトを分離すると、エンジニアリングされたプロンプトが4つのモデルすべてで収量を改善する一方で、CodeQLコンテキストを追加することで、最小のモデルでのみ収量を改善することが示される。 保持されたCyberGymサブセットは、組み合わせた治療に対するターゲット-リコール改善の同じ方向を示す。 フロンティアモデルは低い偽報告率を達成するが、常に高い収率を達成するわけではない。 強力な低価格モデルでは、同様のパフォーマンスを桁違いに低コストで提供することができる。 これらの結果は、タスクに対するマッチングモデル、プロンプト、コンテキストをサポートし、より広範なカバレッジのための構成の組み合わせをサポートする。

関連論文リスト

• The Capability Frontier: Benchmarks Miss 82% of Model Performance [7.258179693117413]
  既存のベンチマークでは、1回のランで1つのモデルの精度が報告されるのが一般的である。 これにより、実世界のLLM能力、特に異種データ分布を体系的に下降させる。
  論文  参考訳（メタデータ） (2026-06-25T10:20:47Z)
• Dissecting model behavior through agent trajectories [15.811597127775812]
  私たちはインテント・エグゼクティブのギャップを形式化し、モデルが意図するものと、ハーネスが実行しているものとのミスマッチと、その逆です。 このハーネスモデルアライメントの効果を説明するために,SSA(Simple Strands Agent)と呼ばれるシンプルでカスタマイズ可能なハーネスを開発した。 i) 一般的なエージェントベンチマークにおいて,多種多様なモデルプロジェクタファミリーが報告したpass@1のパフォーマンスを再現または改善し, (ii) SSAが生成した128k軌道の解析に基づいて構築する。
  論文  参考訳（メタデータ） (2026-06-16T03:17:03Z)
• It's Not the Capability: Harness Sensitivity Is Non-Monotone Across LLM Agent Tiers [0.0]
  LLMエージェントのデプロイメントにおける一般的な仮定は、より構造化されたハーネスは信頼性を普遍的に改善する、というものである。 我々はこの仮説を,4つの能力層にまたがる6つのモデルにまたがる制御された432回の実験により検証した。 我々は6ラベルの障害分類を導入し、form_violationが有能なモデル障害を、 wrong_fileが低能力な障害を、それぞれ支配していることを示す。
  論文  参考訳（メタデータ） (2026-05-26T09:08:41Z)
• HuggingR$^{4}$: A Progressive Reasoning Framework for Discovering Optimal Model Companions [50.61510609116118]
  HuggingR$4$は、Reasoning、Retrieval、Refinement、Reflectionを組み合わせて効率的にモデルを選択する新しいフレームワークである。 作業性率は92.03%、理性率は82.46%に達し、それぞれ26.51%、33.25%を超える。
  論文  参考訳（メタデータ） (2025-11-24T03:13:45Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Why Do More Experts Fail? A Theoretical Analysis of Model Merging [51.18155031364046]
  モデルマージは、複数のエキスパートモデルを単一のマルチタスクモデルに組み合わせることで、ストレージと計算資源を劇的に削減する。 最近のモデルマージ手法は有望な結果を示しているが、マージモデルの増加に伴い性能向上の維持に苦慮している。 限定効用パラメータ空間は、マージを成功させることのできるモデルの数に厳密な制約を課すことを示す。
  論文  参考訳（メタデータ） (2025-05-27T14:10:46Z)
• Multi-Level Collaboration in Model Merging [56.31088116526825]
  本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。 これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
  論文  参考訳（メタデータ） (2025-03-03T07:45:04Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。