論文の概要: Trusting the Tool: Asymmetric Deference of LLM Vulnerability Auditors to Static-Analysis Evidence

• arxiv url: http://arxiv.org/abs/2610.32876v1
• Date: Fri, 23 Oct 2026 16:45:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.610872
• Title: Trusting the Tool: Asymmetric Deference of LLM Vulnerability Auditors to Static-Analysis Evidence
• Title（参考訳）: ツールを信頼する - LLM脆弱性監査者の非対称推論と静的分析の証拠
• Abstract要約: 偽の保証は、偽の警報よりも、自分の主張に評決を向ける。 パイプラインは、モデルがそれらに依存する前に、ツールの保証を検証する必要がある。
• 参考スコア（独自算出の注目度）: 4.088299444905878
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pipelines that combine large language models (LLMs) with static analysis let the model consume the analyser's output as evidence, but whether the model distinguishes true from false evidence, and whether its scrutiny depends on what the evidence claims, has not been measured. We built an intraprocedural analyser for C/C++ that produces proof obligations and audited vulnerable and patched functions from PrimeVul under six evidence conditions that differ only in the notes, including fabricated assurances that a missing check exists and fabricated alarms that an added check is missing. The study covers 916 pairs in four disjoint sets, eleven model configurations from four vendors and 16,572 audits; no model is trained or fine-tuned. True evidence barely improved accuracy (+0.02). False evidence acted asymmetrically: relative to true notes about the same operations, false assurances lowered the detection of real vulnerabilities by up to 19 points, whereas false alarms never significantly lowered accuracy and were disputed far more often. An internally registered replication on seven new models confirmed that false assurances move verdicts towards their claim more than false alarms do (mean asymmetry +0.16, 95% CI +0.10 to +0.24). Instructions in the audit prompt did not reliably reduce deference; the best one failed to replicate. Verifying each claim in a separate call and showing the refuted claims raised accuracy under false assurances by 12 points in a pre-specified test (p=0.002) without loss under true evidence; for a second model the gain was smaller and not significant. Pipelines should therefore verify a tool's guarantees before the model relies on them, and studies should measure deference in a direction-aware way.
• Abstract（参考訳）: 大規模言語モデル(LLM)と静的解析を組み合わせたパイプラインは、モデルが分析者の出力を証拠として消費するが、モデルが偽の証拠と真を区別するかどうか、その精査が証拠が主張するものに依存しているかどうかが測定されていない。 C/C++用のプロシージャ内アナライザを構築し、PrimeVulから証明義務と監査された脆弱性とパッチ付き関数を6つの証拠条件の下で作成しました。 調査では、4つの非結合セットで916対、ベンダーで11のモデル構成、監査で16,572人を対象にした。 真の証拠は精度をわずかに改善した(+0.02)。 偽の証拠は非対称に振る舞った: 同じ操作に関する真のメモに対して、偽の保証は実際の脆弱性の検出を19ポイントまで下げたが、偽の警報は正確さを著しく低下させず、より頻繁に議論された。 7つの新しいモデルに内部登録された複製により、偽保証は偽のアラームよりも彼らの主張に検証を移すことが確認された(平均非対称性 +0.16, 95% CI + 0.10 から +0.24)。 監査プロンプトの指示は推論を確実に減少させなかった。 個別の呼び出しで各クレームを検証し、反証されたクレームを偽の保証の下で正当性なく12ポイント(p=0.002)の精度で証明し、第2のモデルでは利得は小さく、有意ではなかった。 従ってパイプラインは、モデルがそれらに依存する前に、ツールの保証を検証する必要がある。

関連論文リスト

• Persuaded, Not Informed: Incentive-Misaligned Witnesses Defeat In-Context Grounding [0.0]
  より強力なモデルで対処されていない障害モードを特定します。 文脈が楽観主義へのインセンティブを持つ当事者による主張を含む場合、モデルはこの主張を証拠として扱い、明確化は会社の記録を容認できないとみなす。
  論文  参考訳（メタデータ） (2026-09-23T23:52:24Z)
• A Verifier Can Leak the Answer: Diagnosability Before Optimization in Closed-Loop Agent Debugging [0.39287497907611874]
  検証者は、そのプローブがターゲットのアイデンティティを符号化したり、述語化したりすると、解法の比較を空にする。 クローズドループ決定エージェントにおけるアグリゲートトレースデバッガーの障害を報告する。
  論文  参考訳（メタデータ） (2026-09-09T17:32:57Z)
• MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
  MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。 MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。 オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
  論文  参考訳（メタデータ） (2026-08-26T18:22:03Z)
• TrustDABench: Benchmarking Reliability and Robustness of LLMs for Structured Data Analysis [42.62413276719373]
  信頼できる結果は、ユーザ質問から関連するデータエビデンスへの有効なパスによってサポートされるべきである。 この要件は2つの診断質問を生成する: LLMがそのような経路が存在しない場合、答えを拒否するか、明確化を求めることができるか、同じ証拠が異なる表形式で表現された場合、正しい分析を維持できるかである。 信頼性と堅牢性としてこれらの質問を運用するベンチマークであるTrustDABenchを紹介します。
  論文  参考訳（メタデータ） (2026-08-25T07:09:01Z)
• Prior Audit-Repair Context Shifts LLM Verifier Thresholds Toward Leniency [0.025718125188898048]
  我々は,現時点のタスクを個別に保持するプロセスベンチトレースに対して,擬似アラームを計測する。 完了した監査 -> モデルのコンテキストにすでにある修復エピソードは、15のモデルxワードの組み合わせのうち15の偽のアラームを低くする。
  論文  参考訳（メタデータ） (2026-08-17T01:41:43Z)
• The Knowing-Saying Gap: When Probes See Errors that Confidence Misses [20.46211358172975]
  線形プローブは、ほぼ完全精度で言語モデルの劣化コンテキストを検知するが、信頼性の高い故障予測にはならない。 マルチホップ算術連鎖全体において、汚職を検出するプローブは最終解の正しさについて非形式的であることが判明した。 リアルタイムモニタとして、プローブベースの介入は、シャープにモデル化され、エラータイプに依存します。
  論文  参考訳（メタデータ） (2026-07-21T12:13:10Z)
• Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen [0.0]
  実験では,7つの指導訓練付きオープンウェイトモデルを用いて,最小の妥当性基準を満たす言語的信頼度が得られるかどうかを検証した。 カテゴリー的誘因は有効性には至らなかった。 声道レベルの対数確率は,観察された分散状態下での言語的信頼度を有意に予測しなかった。
  論文  参考訳（メタデータ） (2026-04-24T04:45:21Z)
• Inferring multiple helper Dafny assertions with LLMs [47.33158055894705]
  本研究では,Dafnyプログラムにおけるヘルパーアサーションの欠落を自動的に推測するために,Large Language Modelsの使用について検討する。 推論の難易度を分析するために,アサーション型の分類を導入した。 その結果、自動アサーション推論は証明工学の労力を大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2025-10-31T09:45:39Z)
• Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
  近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。 因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
  論文  参考訳（メタデータ） (2025-09-24T13:06:35Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。