論文の概要: Probing the Prefill: Detecting Code Vulnerabilities via Latent Activations

• arxiv url: http://arxiv.org/abs/2608.16970v1
• Date: Mon, 17 Aug 2026 08:52:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.08153
• Title: Probing the Prefill: Detecting Code Vulnerabilities via Latent Activations
• Title（参考訳）: Probing the Prefill: Latent Activationによるコードの脆弱性検出
• Abstract要約: LLMベースのコード生成は、ミッションクリティカルパイプラインに埋め込まれている。 LLMがC/C++のコードをコンテキストとして読み取るかどうかをテストしますが、隠れたアクティベーションはそのコードの脆弱性ステータスに関するシグナルをすでに持っていますか? これは、コーディング LLM の任意のコードの表現が、そのコードの脆弱性ステータスについて情報化されているという初期の証拠である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: LLM-based code generation is now embedded in mission-critical pipelines, but defenses against vulnerable output remain post-hoc -- static analyzers, fine-tuned classifiers, or an LLM judge that screen completed code, ignoring the generating model's own internal state. We test a narrower, directly measurable question: when an LLM reads a piece of C/C++ code as context, do its hidden activations already carry a signal about that code's vulnerability status? We extract last prefill token activations from four LLMs (Granite-4.1-8B, Qwen3.5-9B, Qwen3.6-27B, Gemma-4-12B) across three model families and train MLP probes on these activations. We evaluate them on four function-level C/C++ benchmarks (Devign, Big-Vul, Draper VDISC, PrimeVul). Our probes achieve 41.7\% average F1 using 13.4--16.0M-parameter probes -- under 0.2\% of base-model size. On Devign, the best probe (Qwen3.5-9B, 68.8\% F1) matches the published fine-tuned-classifier SOTA (67.9\%) despite reading only a frozen, general-purpose LLM's activations; on the harder, more imbalanced benchmarks (Big-Vul, Draper VDISC, PrimeVul) probes trail SOTA substantially. This is early evidence that a coding LLM's own representation of arbitrary code is informative about that code's vulnerability status, motivating further work toward lightweight, model-native vulnerability screening.
• Abstract（参考訳）: LLMベースのコード生成は、現在ミッションクリティカルなパイプラインに埋め込まれているが、脆弱性のある出力に対する防御は、ポストホックのままである。 LLMがC/C++のコードをコンテキストとして読み込むと、そのコードの脆弱性ステータスに関するシグナルを隠されたアクティベーションがすでに持っていますか? 我々は,4つのLCM (Granite-4.1-8B, Qwen3.5-9B, Qwen3.6-27B, Gemma-4-12B) から3つのモデルファミリーから最後のプリフィルトークンアクティベーションを抽出し,これらのアクティベーションに基づいてMLPプローブを訓練する。 関数レベルのC/C++ベンチマーク(Devign, Big-Vul, Draper VDISC, PrimeVul)で評価する。 我々のプローブは13.4--16.0Mパラメータプローブを用いて平均F1を41.7 %、ベースモデルサイズは0.2 %である。 Devign では、最も優れたプローブ (Qwen3.5-9B, 68.8\% F1) は、凍った汎用 LLM のアクティベーションのみを読み取りながら、発行された細調整された分類器 SOTA (67.9\%) と一致し、より硬く、より不均衡なベンチマーク (Big-Vul, Draper VDISC, PrimeVul) ではSOTA を実質的に追尾する。 これは、LCM自身の任意のコードの表現をコーディングすることは、そのコードの脆弱性ステータスについて情報であり、軽量でモデルネイティブな脆弱性スクリーニングに向けたさらなる取り組みを動機付けている、という初期の証拠である。

関連論文リスト

• Speculative Probing: LLM Monitoring at Speculative-Decoding Cost [8.480625921580154]
  言語モデル推論中のリアルタイム分類は、安全フィルタリング、行動分析、モデル監視に有用である。 現在のアプローチでは、正確性と効率性のトレードオフが強まります。 最近のLSMにおける投機的復号化モジュールは、効率的な高品質な分類のために再利用することができる。
  論文  参考訳（メタデータ） (2026-08-28T09:07:58Z)
• Now You (Still) See Me: Detecting Evasive Steganographic Payloads in LLMs [52.149036302760386]
  大規模な言語モデルは、プロンプトによって引き起こされるシークレットを、流動的で良心的な出力にエンコードするように微調整することができる。 近年の研究では、内部の活性化から秘密を回収する線形プローブによる検出を提案する。 この防御は体系的に回避できるが,対象とするデータレベルの介入によって検出性が回復可能であることを示す。
  論文  参考訳（メタデータ） (2026-06-08T12:27:11Z)
• From Attack Simulation to SIEM Rule: Deterministic Detection-as-Code Synthesis with Probe-Level Traceability [51.56484100374058]
  セキュリティチームは、自身のシステムに対する攻撃をシミュレートして、監視が真の侵入者を捕まえるかどうかをチェックする。 人間はそのギャップを手でブリッジし、それぞれの発見を読み、対応するシグマルールを書きます。 ロックされたコーパスからプローブが引き出されると,この変換が部分的に自動化されることを示す。
  論文  参考訳（メタデータ） (2026-06-03T14:26:25Z)
• DRIFT: Detecting Representational Inconsistencies for Factual Truthfulness [5.785021425715989]
  LLMは流動性があるが誤った答えを出すことが多いが、このような幻覚を検出するには、通常、複数のサンプリングパスやポストホック検証が必要である。 隠れ状態から直接これらの信号を読み取るための軽量なプローブを提案する。 信頼性の高い問合せを即座に答えるとともに,不確実な問合せをより強力なモデルに委譲するLLMルータを開発した。
  論文  参考訳（メタデータ） (2026-01-20T18:16:10Z)
• Extracting books from production language models [65.85348210518937]
  同様の抽出がLLMの生産に可能であるかどうかについては、未解決のままである。 ジェイルブレイクされたクロード3.7 ソンネットは、全書籍をほぼ全文出力する場合もある。 モデルおよびシステムレベルのセーフガードであっても、(コピーライト内での)トレーニングデータの抽出はLLM生産のリスクである。
  論文  参考訳（メタデータ） (2026-01-06T03:01:27Z)
• Assessing the Quality and Security of AI-Generated Code: A Quantitative Analysis [0.0]
  本研究では,Claude Sonnet 4, Claude 3.7 Sonnet, GPT-4o, Llama 3.2 90B, OpenCoder 8Bの5大言語モデル(LLM)のコード品質とセキュリティを定量的に評価する。 LLMは機能的なコードを生成することができるが、バグやセキュリティ上の脆弱性、コードの臭いなど、さまざまなソフトウェア欠陥も導入している。
  論文  参考訳（メタデータ） (2025-08-20T14:16:21Z)
• LPASS: Linear Probes as Stepping Stones for vulnerability detection using compressed LLMs [0.0]
  本稿では,Linear Probesを用いて圧縮された大言語モデルの性能を推定する方法を示す。 また, レイヤプルーニング圧縮を適用する際に, カットオフ点の設定に適合することを示す。 我々のアプローチは、$LPASS$と呼ばれ、480kのC/C++サンプル上で、MITREのTop 25の最も危険な脆弱性を検出するためにBERTとGemmaに適用される。
  論文  参考訳（メタデータ） (2025-05-30T10:37:14Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• CyberSecEval 2: A Wide-Ranging Cybersecurity Evaluation Suite for Large Language Models [6.931433424951554]
  大規模言語モデル(LLM)は新たなセキュリティリスクを導入するが、これらのリスクを計測し、削減するための包括的な評価スイートはほとんどない。 LLMのセキュリティリスクと能力を定量化する新しいベンチマークであるBenchmarkNameを提案する。 我々は,GPT-4,Mistral,Meta Llama 370B-Instruct,Code Llamaを含む複数のSOTA (State-of-the-art) LLMを評価した。
  論文  参考訳（メタデータ） (2024-04-19T20:11:12Z)
• LLM4Vuln: A Unified Evaluation Framework for Decoupling and Enhancing LLMs' Vulnerability Reasoning [20.463200377413255]
  大規模言語モデルの脆弱性推論機能を評価する統合評価フレームワークを導入する。 我々は,3,528の制御シナリオにおいて,6つの代表的なLSMを,147のグランドトルース脆弱性と147の非加重性ケースでテストした。 本研究は,知識強化,文脈補充,即時的スキームの様々な影響を明らかにするものである。
  論文  参考訳（メタデータ） (2024-01-29T14:32:27Z)
• Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
  本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。 既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。 本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
  論文  参考訳（メタデータ） (2023-10-08T10:08:21Z)
• RankVicuna: Zero-Shot Listwise Document Reranking with Open-Source Large Language Models [56.51705482912727]
  ゼロショット設定で高品質なリストワイドのランク付けを行うことができる初の完全オープンソースLCMである RankVicuna を提示する。 TREC 2019と2020 Deep Learning Tracksの実験結果から,GPT-4のゼロショットリランクに匹敵する効果が得られ,GPT-3.5よりもはるかに小さい7Bパラメータモデルが得られた。
  論文  参考訳（メタデータ） (2023-09-26T17:31:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。