論文の概要: Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review
- arxiv url: http://arxiv.org/abs/2603.18740v1
- Date: Thu, 19 Mar 2026 10:40:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-20 17:19:06.093559
- Title: Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review
- Title（参考訳）: LLM支援セキュリティコードレビューにおける確認バイアスの測定と爆発
- Abstract要約: ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。
調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。
調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
- 参考スコア（独自算出の注目度）: 6.417595678110472
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Security code reviews increasingly rely on systems integrating Large Language Models (LLMs), ranging from interactive assistants to autonomous agents in CI/CD pipelines. We study whether confirmation bias (i.e., the tendency to favor interpretations that align with prior expectations) affects LLM-based vulnerability detection, and whether this failure mode can be exploited in software supply-chain attacks. We conduct two complementary studies. Study 1 quantifies confirmation bias through controlled experiments on 250 CVE vulnerability/patch pairs evaluated across four state-of-the-art models under five framing conditions for the review prompt. Framing a change as bug-free reduces vulnerability detection rates by 16-93%, with strongly asymmetric effects: false negatives increase sharply while false positive rates change little. Bias effects vary by vulnerability type, with injection flaws being more susceptible to them than memory corruption bugs. Study 2 evaluates exploitability in practice mimicking adversarial pull requests that reintroduce known vulnerabilities while framed as security improvements or urgent functionality fixes via their pull request metadata. Adversarial framing succeeds in 35% of cases against GitHub Copilot (interactive assistant) under one-shot attacks and in 88% of cases against Claude Code (autonomous agent) in real project configurations where adversaries can iteratively refine their framing to increase attack success. Debiasing via metadata redaction and explicit instructions restores detection in all interactive cases and 94% of autonomous cases. Our results show that confirmation bias poses a weakness in LLM-based code review, with implications on how AI-assisted development tools are deployed.
- Abstract（参考訳）: セキュリティコードレビューは、対話型アシスタントからCI/CDパイプラインの自律エージェントまで、大規模言語モデル(LLM)を統合するシステムにますます依存している。
確認バイアス(すなわち、事前の期待に沿う解釈を好む傾向)がLSMベースの脆弱性検出に影響を及ぼすか、ソフトウェアサプライチェーン攻撃でこの障害モードを利用することができるかを検討する。
私たちは2つの補完的研究を行います。
調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。
バグのない変更によって脆弱性検出率が16～93%減少し、強い非対称な効果が生じる:偽陰性は急激に増加し、偽陽性率はわずかに変化する。
バイアス効果は脆弱性の種類によって異なり、インジェクションの欠陥はメモリ破損のバグよりも影響を受けやすい。
調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
対戦型フレーミングはGitHub Copilot(対話型アシスタント)に対してワンショット攻撃で35%、Claude Code(自律エージェント)に対して88%のケースで成功している。
メタデータのリアクションと明示的な指示によるデバイアスは、すべてのインタラクティブなケースと94%の自律的なケースで検出を復元する。
以上の結果から,確認バイアスはLLMベースのコードレビューにおいて弱点となり,AI支援開発ツールのデプロイ方法に影響を及ぼすことが示された。
関連論文リスト
- SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。
操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。
SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
論文 参考訳（メタデータ） (2026-08-31T03:39:43Z) - Detecting Contaminated Code-Generation Prompt Batches via Influence Functions [4.185678330063222]
大規模言語モデル(LLM)は、コード生成にますます使われているが、安全でない実装を誘発するプロンプトに弱いままである。
本稿では、影響関数を利用して異常モデル動作を誘発するプロンプトのバッチを識別する脅威モデル非依存検出手法であるCodeSIFTを提案する。
論文 参考訳（メタデータ） (2026-08-14T13:37:53Z) - ALIBI: Adaptive Agentic Attacks on LLM-Based Vulnerability Detectors via Adversarial Code Comments [12.021872048536766]
大きな言語モデルは、脆弱性検出やコードレビューといったセキュリティに敏感なタスクに対して、ますますデプロイされている。
ソースコードに埋め込まれた自然言語コンテキストへの依存は、これまで探索されていなかったアタックサーフェスを露呈する。
本稿では,自動適応ブラックボックス攻撃フレームワークであるALIBIについて述べる。
論文 参考訳（メタデータ） (2026-07-27T18:13:28Z) - Decoupling Reconnaissance and Exploitation: Measuring the Capability Boundaries of LLM-Based Web Penetration Testing [8.293465530619246]
本稿では,2段階の非結合評価フレームワークを提案する。
我々は、マルチエージェント、モノリシック、グラフ駆動アーキテクチャをカバーする、オープンソースの5つの浸透試験エージェントを実証的に評価する。
論文 参考訳（メタデータ） (2026-06-24T02:51:58Z) - The Semantic Trap: Do Fine-tuned LLMs Learn Vulnerability Root Cause or Just Functional Pattern? [14.472036099680961]
そこで我々は,脆弱性根本原因を機能パターンから切り離すための総合評価フレームワークTrapEvalを提案する。
我々は、3つのモデルファミリーにまたがる5つの最先端LCMを微調整し、それらを、CodeBLEUによって測定されたクロスデータセットテスト、セマンティック保存、および様々なセマンティックギャップの下で評価する。
従来のデータセットに対する高いベンチマークスコアは、モデルが脆弱性の真の因果論理を理解できないことを隠蔽している可能性がある。
論文 参考訳（メタデータ） (2026-01-30T07:19:17Z) - AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。
LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。
本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
論文 参考訳（メタデータ） (2025-12-23T08:42:09Z) - DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。
デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
論文 参考訳（メタデータ） (2025-09-29T05:17:10Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z) - Explicit Vulnerability Generation with LLMs: An Investigation Beyond Adversarial Attacks [0.5218155982819203]
大規模言語モデル(LLM)は、コードアシスタントとしてますます使われている。
本研究は、より直接的な脅威について検討する。オープンソースのLLMは、トリガー時に脆弱性のあるコードを生成する。
論文 参考訳（メタデータ） (2025-07-14T08:36:26Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳（メタデータ） (2025-05-23T08:13:59Z) - AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。
テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。
アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
論文 参考訳（メタデータ） (2025-04-29T17:36:05Z) - Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。
本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。
攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文 参考訳（メタデータ） (2024-07-15T23:41:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。