論文の概要: Snyk VulnBench JS 1.0: Can LLMs Find the Same Bugs Twice?
- arxiv url: http://arxiv.org/abs/2606.15762v1
- Date: Sun, 14 Jun 2026 11:47:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.828482
- Title: Snyk VulnBench JS 1.0: Can LLMs Find the Same Bugs Twice?
- Title（参考訳）: Snyk VulnBench JS 1.0: LLMは同じバグを見つけることができるか?
- Abstract要約: 同じJavaScriptコード、プロンプト、ベンチマークハーネスで、反復可能なエージェント型大規模言語モデル(LLM)のセキュリティレビューの可否を測定するために、300回の脆弱性フィニングスキャンを実行しました。
その結果,LSMの安全性は不均一に再現可能であった。
Snyk Code 静的アプリケーションセキュリティテスト(SAST)は決定論的であり、繰り返し発生するデータフローシンクを体系的に列挙するのに優れていた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We ran 300 repeated vulnerability-finding scans to measure how repeatable agentic large language model (LLM) security review is on the same JavaScript code, prompt, and benchmark harness. The headline result is that LLM security findings were unevenly repeatable: reference-matched findings were stable, but extra model reports varied heavily from run to run. Across 250 model runs, 80 of 161 unique unmatched findings appeared in only one of five identical repetitions, while only 22 appeared in all five. By contrast, when Claude matched a Snyk Code reference finding, the behavior was much more stable: 134 of 158 unique reference-matched findings appeared in all five repetitions. The benchmark also shows complementarity. Models consistently found familiar, high-signal exploit shapes, and in one case surfaced a likely Snyk Code product gap. Snyk Code static application security testing (SAST) was deterministic and better at systematically enumerating repeated data-flow sinks. The results support combining agentic LLM review with deterministic SAST rather than treating either technique as a replacement for the other.
- Abstract（参考訳）: 同じJavaScriptコード、プロンプト、ベンチマークハーネスで、反復可能なエージェント型大規模言語モデル(LLM)のセキュリティレビューの可否を測定するために、300回の脆弱性フィニングスキャンを実行しました。
その結果, LLMの安全性は不均一に再現可能であり, 基準整合性は安定していたが, 追加のモデル報告は実行時から実行時まで大きく変化した。
250回のモデル走行で、161回のうち80回は同一の5回のうちの1回にしか表示されず、22回は全5回にしか表示されなかった。
対照的に、ClaudeがSnyk Codeの参照発見と一致したとき、より安定していた。
ベンチマークは相補性も示している。
モデルは一貫して、慣れ親しんだ、高信号のエクスプロイトの形状を見つけ、あるケースでは、Snyk Codeのプロダクトギャップが表面化した。
Snyk Code 静的アプリケーションセキュリティテスト(SAST)は決定論的であり、繰り返し発生するデータフローシンクを体系的に列挙するのに優れていた。
いずれの手法も他方の代替品として扱うのではなく, エージェントLLMレビューと決定論的SASTを組み合わせることを支援する。
関連論文リスト
- Beyond Pass Rate: A Multilingual, Execution-Grounded Evaluation of Open Code LLMs [0.0]
ベストモデルの平均正しさは23.64%に達し、人間受け入れベースラインは57.2%である。
Qwen2.5-Coder-14B-Instructは、難しい問題と明確なプロブレムカバレッジで最強である。
Gemma-2-27B-ITは全言語でのリント通過率が最も高い。
論文 参考訳（メタデータ） (2026-06-07T21:10:30Z) - How Reliable Are AI Attackers Against a Fixed Vulnerable Target? A 400-Run Empirical Study of LLM Penetration Testing Consistency [0.0]
大規模言語モデル(LLM)は、多段階のサイバー攻撃を自律的に行うことができるが、その攻撃行動の一貫性は調査されていない。
この研究は、Juice Shopをホストする同一のハニーポットに対して400ラン(4モデル、100台)の攻撃一貫性を実証した最初の大規模な実験的な測定結果を示す。
オーケストレータのワンショットの承認が0-1で再発効したコンテントの拒絶は、モデルでは発生しなかった。
論文 参考訳（メタデータ） (2026-05-28T15:39:43Z) - SNARE: Adaptive Scenario Synthesis for Eliciting Overeager Behavior in Coding Agents [40.270213696031625]
符号化エージェントは、シェル、ファイル、ネットワークアクションのシーケンスとして良質なタスクを実行する。
プロンプトは敵ではなく、実行は成功しますが、スコープ外ステップでは認証情報をリークしたり、ファイルを削除することができます。
既存のベンチマークでは、タスク補完スイートは、完了した実行を承認し、jailbreakスイートは、逆のプロンプトをプローブし、以前のオーバーイーガーベンチマークは、各エージェントモデルペアに単一の固定プロンプトを適用する。
再利用可能なスコープから良性シナリオを構成するパイプラインであるSNAREを提案する。
論文 参考訳（メタデータ） (2026-05-27T08:14:07Z) - A Fixed-Budget, Cluster-Aware Standard for LLM-as-a-Judge Evaluation: A Multi-Hop RAG Stress Test [0.0]
RAGにおけるLCM-as-a-judge比較の最小基準を提案する。
標準ではトップ100候補プール、エビデンス予算、回答上限、ジェネレータ、プロンプトが修正されている。
また、事前登録された仮説、クラスタ認識推論、実行可能時の正確なクラスタサイン-フリップチェック、第2ジャッジレプリケーションも必要である。
論文 参考訳（メタデータ） (2026-05-27T00:12:02Z) - Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。
我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。
LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
論文 参考訳（メタデータ） (2026-05-07T13:52:59Z) - An Empirical Security Evaluation of LLM-Generated Cryptographic Rust Code [3.345437353879255]
本研究では,240Rustコードサンプルの暗号セキュリティを実証的に評価する。
生成されたコードサンプルの23.3%のみが正常にコンパイルされた。
3つのモデルはいずれも,ナンス再利用やAPI幻覚など,体系的な障害を示す。
論文 参考訳（メタデータ） (2026-04-29T03:58:55Z) - Claudini: Autoresearch Discovers State-of-the-Art Adversarial Attack Algorithms for LLMs [75.62489398666644]
我々は,Claude Codeをベースとしたemphautoresearchスタイルのパイプライン citepkarpathy2026autoresearch が,新しいホワイトボックス対逆攻撃を発見できることを示した。
textbfsignantは、jailbreakで既存のすべての(30以上のメソッド)を著しく上回り、インジェクション評価を促します。
論文 参考訳（メタデータ） (2026-03-25T16:50:56Z) - RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。
我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文 参考訳（メタデータ） (2026-01-30T08:29:01Z) - Paper Summary Attack: Jailbreaking LLMs through LLM Safety Papers [61.57691030102618]
我々は新しいジェイルブレイク手法であるペーパー・サプリメント・アタック(llmnamePSA)を提案する。
攻撃に焦点をあてたLLM安全紙からコンテンツを合成し、敵のプロンプトテンプレートを構築する。
実験では、ベースLLMだけでなく、Deepseek-R1のような最先端の推論モデルにも重大な脆弱性がある。
論文 参考訳（メタデータ） (2025-07-17T18:33:50Z) - Fake Alignment: Are LLMs Really Aligned Well? [91.26543768665778]
本研究では,複数質問とオープンエンド質問の相違点について検討した。
ジェイルブレイク攻撃パターンの研究にインスパイアされた我々は、これが不一致の一般化によって引き起こされたと論じている。
論文 参考訳（メタデータ） (2023-11-10T08:01:23Z) - Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。
既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。
本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
論文 参考訳（メタデータ） (2023-10-08T10:08:21Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳（メタデータ） (2023-05-23T21:50:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。