論文の概要: When AI Investigators Cannot Trust Their Tools: Conflict-Aware Evidence Verification for Cyber Threat Investigation

• arxiv url: http://arxiv.org/abs/2610.41191v1
• Date: Fri, 30 Oct 2026 03:13:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.604078
• Title: When AI Investigators Cannot Trust Their Tools: Conflict-Aware Evidence Verification for Cyber Threat Investigation
• Title（参考訳）: AI調査員が彼らのツールを信頼できないとき: サイバー脅威調査のための競合意識の証拠検証
• Abstract要約: LLMエージェントは、いくつかの検出ツールの出力を組み合わせることで、セキュリティ警告をますますトリアージする。 このマシンが生成した証拠が矛盾している、あるいは間違っている場合に何が起こるか。 本稿では,既存のコンポーネントから構築したCAV(Conflict-Aware Evidence Verification)を提案する。
• 参考スコア（独自算出の注目度）: 5.500670215690767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents increasingly triage security alerts by combining the outputs of several detection tools, implicitly treating those tools as trustworthy. Unlike prior work on conflicts between a model's knowledge and its context, we study conflicts among the tools themselves: what happens when this machine-generated evidence is conflicting or wrong. On the corrected CIC-IDS2017 dataset, four heterogeneous detectors emit labels and confidences that we corrupt under a threat model varying the number of corrupted tools, the persistence of the corruption, and the confidence attached to wrong outputs. Across open-weight LLMs from 3B to 14B parameters, unverified investigators are fragile: one corrupted detector out of four lowers naive accuracy to .50-.72, three lower every unverified investigator to .13 or less, and honest disagreement alone makes them abstain on up to 63% of flows. We propose Conflict-Aware Evidence Verification (CAV), built from established components: an equal-weight vote that ignores reported confidences, an evidence-conflict gate, and an independent nearest-neighbour trust check that tests the leading candidates. With its prompt frozen before testing, CAV-LLM improves on the naive investigator in every corrupted condition ($p < 0.001$), reaching .84-.88 with three corrupted detectors against at most .08, while calling the LLM on 0.4% of clean traffic. A fixed verification rule is as accurate or better unless most tools are corrupted. When we make the independent channel itself noisy, CAV inherits its errors: it stays ahead when two or more tools are corrupted, but adding the channel as an extra voter is better when at most one is. Verification thus moves trust from the tools to the check, which must be measured and protected in turn.
• Abstract（参考訳）: LLMエージェントは、いくつかの検出ツールの出力を組み合わせて、これらのツールを信頼に値するものとして暗黙的に扱うことで、セキュリティ警告をますますトリアージする。 モデルの知識とコンテキストの衝突に関する以前の研究とは違って、私たちはツール自体の衝突を研究します。 修正されたCIC-IDS2017データセットでは、4つの異種検出器がラベルと信頼を放出し、私たちが脅威モデルの下で腐敗したツールの数、破損の持続性、間違った出力に付随した信頼度を変化させる。 3B から 14B までのオープンウェイトな LLM 全体では、検証不能な調査員は脆弱である: 4 つの低い精度のうち 1 つの劣化検出器が .50-.72 に、検証不能な調査員が .13 以下で 3 つ低いものは .13 以下、正直な不一致だけで 最大 63% のフローで吸収される。 我々は、報告された信頼を無視する対等な投票、エビデンス・コンフリクトゲート、そして主要な候補者を検査する独立した最寄りの信頼チェックという、確立されたコンポーネントから構築された紛争対応証拠検証(CAV)を提案する。 CAV-LLMは試験前に急速凍結し、全ての劣化した状態(p < 0.001$)で、.84-.88に到達し、3つの劣化した検出器が少なくとも.08と対戦し、LLMを0.4%のクリーントラフィックで呼び出す。 固定検証ルールは、ほとんどのツールが破損しない限り、正確かそれ以上である。 独立したチャネル自体を騒がせると、CAVはそのエラーを継承します。2つ以上のツールが破損した場合、その前に留まります。 したがって、検証はツールからチェックに信頼を移す。

関連論文リスト

• Quantifying and Prioritizing Stealthy Source-Manipulation Threats Against Multi-Source Anomaly Detectors [0.0]
  クロスソースな異常検知器は、クリーンな偽陽性率と、ランダムな腐敗をいかにうまくキャッチするかによってしばしば判断される。 脅威定量化スコア(emphtask-conditioned visibility margin)を提案する。 マージンはクローズドな形状で、証明書あたり約85,000ドルを要し、最小限のエビデンス攻撃を発生させ、検出器が見えないタスク関連方向を特定する。
  論文  参考訳（メタデータ） (2026-10-27T06:09:50Z)
• Trusting the Tool: Asymmetric Deference of LLM Vulnerability Auditors to Static-Analysis Evidence [4.088299444905878]
  偽の保証は、偽の警報よりも、自分の主張に評決を向ける。 パイプラインは、モデルがそれらに依存する前に、ツールの保証を検証する必要がある。
  論文  参考訳（メタデータ） (2026-10-23T16:45:10Z)
• When Can You Trust an Agent's Own Verifier? Stress-Testing Counterfactual Rationale Verification Under Search Pressure and Oracle Access [2.548904650574671]
  エージェントがそれに対して最適化したら、検証者が信頼性を保つかどうかを問う。 私たちの貢献は新しい検証ではなく、ストレステストの方法です。 テストはRationale Consistency Score(RCS)という独自の検証装置に適用する。 我々は報告基準を提案し、検証を$$で監査し、これらのプローブを信頼する前に検証する。
  論文  参考訳（メタデータ） (2026-10-16T00:41:30Z)
• hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
  コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。 我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。 HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
  論文  参考訳（メタデータ） (2026-10-02T09:35:59Z)
• VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
  LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。 本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。 コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。 これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
  論文  参考訳（メタデータ） (2026-10-01T03:02:17Z)
• Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
  証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。 我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
  論文  参考訳（メタデータ） (2026-09-27T13:01:02Z)
• TrustDABench: Benchmarking Reliability and Robustness of LLMs for Structured Data Analysis [42.62413276719373]
  信頼できる結果は、ユーザ質問から関連するデータエビデンスへの有効なパスによってサポートされるべきである。 この要件は2つの診断質問を生成する: LLMがそのような経路が存在しない場合、答えを拒否するか、明確化を求めることができるか、同じ証拠が異なる表形式で表現された場合、正しい分析を維持できるかである。 信頼性と堅牢性としてこれらの質問を運用するベンチマークであるTrustDABenchを紹介します。
  論文  参考訳（メタデータ） (2026-08-25T07:09:01Z)
• Prior Audit-Repair Context Shifts LLM Verifier Thresholds Toward Leniency [0.025718125188898048]
  我々は,現時点のタスクを個別に保持するプロセスベンチトレースに対して,擬似アラームを計測する。 完了した監査 -> モデルのコンテキストにすでにある修復エピソードは、15のモデルxワードの組み合わせのうち15の偽のアラームを低くする。
  論文  参考訳（メタデータ） (2026-08-17T01:41:43Z)
• Auditing Provenance Sensitivity in LLM Agent Action Selection [0.0]
  LLMエージェントは、ユーザリクエスト、ツール出力、検索されたレコード、メモリ、信頼できないテキストを混ぜたコンテキストからツールと引数を選択する。 本稿では,各ツールと引数ターゲットに対して,コンテキスト要素を別々にラベル付けするターゲット固有の認証監査を導入する。 次に、有効な証拠が弱まった場合の挙動を検証し、二次的な局所化診断としてコンテキスト-サブセット相互作用を用いる。
  論文  参考訳（メタデータ） (2026-07-23T01:28:18Z)
• Trust or Abstain? A Self-Aware RAG Approach [45.1230482333942]
  Retrieval-augmented Generation (RAG)は、外部のエビデンスを組み込むことで、大きな言語モデルを改善する。 既存のアプローチは、各回答パスが正しいかどうかを明示的に問うことなく、使用するソースをコーディネートする。 我々は、忠実なRAGはLLM自己認識、すなわち、自身の知識と推論の限界を認識する能力を必要としていると論じる。
  論文  参考訳（メタデータ） (2026-05-11T05:44:27Z)
• TRUST: A Framework for Decentralized AI Service v.0.1 [47.384270414446604]
  大規模推論モデル (LRM) とマルチエージェントシステム (MAS) は, 信頼性の高い検証を必要とする。 TRUST(Transparent, Robust, and Unified Services for Trustworthy AI)は,3つのイノベーションを備えた分散フレームワークである。 我々は、悪質な俳優が損失を被っている間、正直な監査人の利益を確実に確保する安全利益理論を証明する。
  論文  参考訳（メタデータ） (2026-04-29T19:32:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。