論文の概要: Words Speak Louder Than Code: Investigating Cognitive Heuristics in LLM-Based Code Vulnerability Detection

• arxiv url: http://arxiv.org/abs/2606.30587v1
• Date: Mon, 29 Jun 2026 17:31:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.362561
• Title: Words Speak Louder Than Code: Investigating Cognitive Heuristics in LLM-Based Code Vulnerability Detection
• Title（参考訳）: LLMに基づくコード脆弱性検出における認知的ヒューリスティックスの検討
• Abstract要約: コードを固定し、周囲のコンテキストだけを変えて3つの認知をトリガーする、制御されたフレームワークを導入します。 我々は,3つのプログラミング言語にわたる8つの大規模言語モデル (LLM) を評価し,量的およびコードレベルの解析を行った。 クロスモデルの平均感受性は33.2%、続いて23.5%、ハロー18.4%である。
• 参考スコア（独自算出の注目度）: 14.75299330004148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Researchers and practitioners increasingly apply Large Language Models (LLMs) for automated vulnerability detection. Recent work has shown that LLMs are susceptible to the same cognitive heuristics that bias human judgment. Yet, no work has investigated whether these heuristics affect a model's assessment of code vulnerabilities. In this paper, we present the first systematic exploration of cognitive heuristics in LLM-driven code vulnerability detection. We introduce a controlled framework that holds the code fixed and only varies the surrounding context to trigger three cognitive heuristics: the halo effect through author attribution, the framing effect through task objectives and consequences, and the anchoring effect through prior analysis results. Within this framework, we evaluate eight LLMs across three programming languages and perform both quantitative and code-level analyses. Our findings demonstrate that all evaluated models are susceptible to these heuristics. Cross-model average susceptibility is highest for framing at 33.2%, followed by anchoring at 23.5% and halo at 18.4%. Code-level analysis reveals that vulnerabilities that require semantic reasoning for detection are more susceptible to cognitive heuristics than those identifiable through pattern matching. Furthermore, models often change their verdict from safe to vulnerable based on the cognitive condition, without accurately identifying the actual vulnerability. To highlight the practical impact, we demonstrate a proof-of-concept black-box cognitive attack that can suppress up to 97% of previously detected vulnerabilities. These findings indicate that cognitive susceptibility is a consistent and exploitable property of LLM-based vulnerability detection.
• Abstract（参考訳）: 研究者や実践者は、脆弱性の自動検出にLarge Language Models(LLM)をますます適用している。 近年の研究では、LLMは人間の判断を偏見する認知的ヒューリスティックに感受性があることが示されている。 しかしながら、これらのヒューリスティックがモデルのコード脆弱性評価に影響を及ぼすかどうかについては、調査されていない。 本稿では,LLM駆動型コード脆弱性検出における認知的ヒューリスティックスの最初の体系的探索について述べる。 著者の帰属によるハロ効果,課題目標と結果によるフレーミング効果,事前分析結果によるアンカー効果の3つの認知的ヒューリスティックをトリガーする。 本フレームワークでは,3つの言語にまたがる8つのLLMを評価し,量的およびコードレベルの解析を行う。 以上の結果から,全ての評価モデルがこれらのヒューリスティックスに影響を受けやすいことが示唆された。 クロスモデルの平均感受性は33.2%、続いて23.5%、ハロー18.4%である。 コードレベルの分析では、検出に意味論的推論を必要とする脆弱性は、パターンマッチングによって特定できる脆弱性よりも認知的ヒューリスティックに感受性があることが明らかになった。 さらに、モデルはしばしば、実際の脆弱性を正確に特定することなく、認知状態に基づいて判断を安全から脆弱に変更する。 実用的影響を明らかにするために,これまでに検出された脆弱性の最大97%を抑える概念的ブラックボックス認知攻撃を実証した。 以上の結果から,認知的感受性はLSMによる脆弱性検出の一貫性と有効性を示すことが示唆された。

関連論文リスト

• Detecting Contaminated Code-Generation Prompt Batches via Influence Functions [4.185678330063222]
  大規模言語モデル(LLM)は、コード生成にますます使われているが、安全でない実装を誘発するプロンプトに弱いままである。 本稿では、影響関数を利用して異常モデル動作を誘発するプロンプトのバッチを識別する脅威モデル非依存検出手法であるCodeSIFTを提案する。
  論文  参考訳（メタデータ） (2026-08-14T13:37:53Z)
• ALIBI: Adaptive Agentic Attacks on LLM-Based Vulnerability Detectors via Adversarial Code Comments [12.021872048536766]
  大きな言語モデルは、脆弱性検出やコードレビューといったセキュリティに敏感なタスクに対して、ますますデプロイされている。 ソースコードに埋め込まれた自然言語コンテキストへの依存は、これまで探索されていなかったアタックサーフェスを露呈する。 本稿では,自動適応ブラックボックス攻撃フレームワークであるALIBIについて述べる。
  論文  参考訳（メタデータ） (2026-07-27T18:13:28Z)
• Steering LLM Viewpoints through Fabricated Evidence Injection [61.22850755490993]
  提案手法では,2段階のアタック・フレームワークを導入し,まず構成された有理数で誤解を招く文を再パッケージし,関連する問合せに応答する上で,これらの視点を組み込むことを目標LLMに指示する。 BBQ、ToxiGen、および我々の特別なデータセットの実験により、外部安全分類器を持たない商用LLMは、非常に脆弱であることが判明した。 そこで我々は,複数の防衛戦略について検討し,その中のひとつとして,gpt-oss-safeguardが81%の検知率を達成した。
  論文  参考訳（メタデータ） (2026-06-04T14:48:23Z)
• The Semantic Trap: Do Fine-tuned LLMs Learn Vulnerability Root Cause or Just Functional Pattern? [14.472036099680961]
  そこで我々は,脆弱性根本原因を機能パターンから切り離すための総合評価フレームワークTrapEvalを提案する。 我々は、3つのモデルファミリーにまたがる5つの最先端LCMを微調整し、それらを、CodeBLEUによって測定されたクロスデータセットテスト、セマンティック保存、および様々なセマンティックギャップの下で評価する。 従来のデータセットに対する高いベンチマークスコアは、モデルが脆弱性の真の因果論理を理解できないことを隠蔽している可能性がある。
  論文  参考訳（メタデータ） (2026-01-30T07:19:17Z)
• Cognitive Inception: Agentic Reasoning against Visual Deceptions by Injecting Skepticism [81.39177645864757]
  完全推論に基づくエージェント推論フレームワークであるtextbfInception を提案する。 私たちの知る限りでは、AIGCの視覚的騙しに対する完全な推論ベースのフレームワークとしてはこれが初めてです。
  論文  参考訳（メタデータ） (2025-11-21T05:13:30Z)
• Ensembling Large Language Models for Code Vulnerability Detection: An Empirical Evaluation [69.8237598448941]
  本研究では,ソースコードの脆弱性検出において,Large Language Models(LLM)の性能を高めるためのアンサンブル学習の可能性を検討する。 脆弱性検出に適したスタック機能であるDynamic Gated Stacking (DGS)を提案する。
  論文  参考訳（メタデータ） (2025-09-16T03:48:22Z)
• VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
  VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。 セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。 平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
  論文  参考訳（メタデータ） (2025-09-15T02:25:38Z)
• Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
  大規模言語モデルは、自動脆弱性検出のための有望なツールである。 LLMは現実世界の脆弱性を検出するのに本当に効果的か? 本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
  論文  参考訳（メタデータ） (2025-04-18T05:32:47Z)
• Understanding the Effectiveness of Coverage Criteria for Large Language Models: A Special Angle from Jailbreak Attacks [10.909463767558023]
  大規模言語モデル(LLM)は人工知能に革命をもたらしたが、重要なドメインにまたがるデプロイメントは、悪意のある攻撃に直面した際の異常な振る舞いを懸念している。 本稿では,このような不確実性を特定する上で,従来のカバレッジ基準の有効性を評価するための総合的な実証的研究を行う。 我々は、クエリを正規またはジェイルブレイクとして分類する際の高精度(平均93.61%)を実現するリアルタイムジェイルブレイク検出機構を開発した。
  論文  参考訳（メタデータ） (2024-08-27T17:14:21Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
  大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。 従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。 さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
  論文  参考訳（メタデータ） (2024-06-24T15:16:45Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。