論文の概要: Using LLMs to Adjudicate Static-Analysis Alerts with Error Reduction Techniques
- arxiv url: http://arxiv.org/abs/2607.09979v1
- Date: Fri, 10 Jul 2026 21:09:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.268808
- Title: Using LLMs to Adjudicate Static-Analysis Alerts with Error Reduction Techniques
- Title（参考訳）: LLMを用いた誤り低減手法による静的分析アラートの調整
- Abstract要約: 大規模言語モデル(LLM)は、静的分析アラートを代入(本物のバグや誤報に分類する)することができる。
そこで我々は、Juliet、FormAI、SV-COMPの3つのテストスイート上で複数のLCMを評価した。
誤りの軽減により、各スイートで少なくとも98%のリコール、少なくとも94.8%の特異性が得られる。
- 参考スコア（独自算出の注目度）: 4.007351600492542
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Static analysis is widely used for finding security weaknesses in source code before deployment, but it often produces far more alerts than analysts can review. We study how well large language models (LLMs) can adjudicate (classify as a real bug or a false alarm) static-analysis alerts. We use two mistake-mitigation methods: (1) a consistency check (CC) that runs the LLM multiple times and checks that the verdicts are consistent with each other, and (2) an LLM reasoning evaluation (LRE) step that runs the LLM multiple times and then asks the LLM to choose a verdict after evaluating the reasoning provided by each run. We evaluated several LLMs on three test suites: Juliet, FormAI, and SV-COMP. Across all three suites, the mid-tier reasoning LLMs that we tested (o4-mini, gpt-oss-120b, gpt-oss-20b) reach high recall (percent of real bugs that the tool correctly flags as needing repair / manual attention) and specificity (percent of actually false alerts that the tool correctly dismisses as false alarms). With mistake mitigation, they reach at least 98% recall and at least 94.8% specificity on every suite (with CC alone on Juliet and SV-COMP, and with LRE+CC on FormAI). We probe Juliet memorization and show that o4-mini can often reconstruct sanitized test cases' original identities, so we base our generalization claims primarily on FormAI, scored against our own unpublished manual adjudications. We also report results of using the LLM to synthesize a program that dynamically triggers the flaw as independent evidence; a validity check rejected every trigger driver aimed at a false alarm, so a valid trigger proved to be strong evidence of a real flaw.
- Abstract（参考訳）: 静的解析は、デプロイ前にソースコードのセキュリティ上の弱点を見つけるために広く使用されているが、アナリストがレビューできるよりもはるかに多くの警告を発生させることが多い。
我々は,大規模言語モデル (LLM) が静的分析アラートを適応(本物のバグや誤報に分類する)する方法について検討する。
我々は,(1) LLMを複数回実行し, 検証が一致していることを確認する一貫性チェック (CC) と, (2) LLMを複数回動作させるLCM推論評価 (LRE) と, そして, LLMに対して, それぞれの実行によって提供される推論を評価した後, 判定を選択するように依頼する。
そこで我々は,Juliet,FormAI,SV-COMPの3つのテストスイートで複数のLCMを評価した。
テストした中層推論のLSM(o4-mini、gpt-oss-120b、gpt-oss-20b)は、高いリコール(ツールが修正や手動の注意を必要とするように正しく警告する本当のバグの1つ)と特異性(ツールが正しく偽のアラームとして無視する実際に偽のアラートの1つ)に達しています。
誤りの軽減により、各スイートで少なくとも98%のリコールと94.8%の特異性に達する(CCはJulietとSV-COMPのみ、LRE+CCはFormAI)。
我々はJulietの暗記を調査し、o4-miniが多くの場合、衛生化されたテストケースの本来のアイデンティティを再構築できることを示します。
また,LSMを用いて動的に欠陥を発生させるプログラムを独立の証拠として合成した結果を報告した; 誤報を狙ったトリガードライバの正当性チェックは拒否されるので,有効なトリガーは真の欠陥の強い証拠であることが判明した。
関連論文リスト
- LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-06T17:59:35Z) - The Hitchhiker's Guide to Program Analysis, Part III: Mostly Harmless LLMs [16.471977061248747]
Evident(エビデント)は、LCM支援とプログラム行動推論を分離するバグ解析システムである。
既存の2つの静的検出器からの200個の実Androidカーネルドライバ警告に対してEvidentを評価する。
論文 参考訳（メタデータ） (2026-06-13T05:26:08Z) - Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。
このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。
意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
論文 参考訳（メタデータ） (2025-09-10T17:58:53Z) - Repairing vulnerabilities without invisible hands. A differentiated replication study on LLMs [5.10123605644148]
自動脆弱性修復(AVR: Automated Vulnerability repair)は、プログラム修復の急激な分岐である。
近年の研究では、大きな言語モデル(LLM)が従来の手法より優れていることが示されている。
論文 参考訳（メタデータ） (2025-07-28T16:39:16Z) - Too Consistent to Detect: A Study of Self-Consistent Errors in LLMs [87.79350168490475]
本研究は, 自己整合誤差を正式に定義し, 主流検出手法の評価を行う。
4種類の検出方法は全て、自己整合性エラーを検出するのにかなり苦労している。
自己整合性誤差がLLM間でしばしば異なるという観測により、我々は単純で効果的なクロスモデルプローブを提案する。
論文 参考訳（メタデータ） (2025-05-23T09:18:56Z) - Laurel: Unblocking Automated Verification with Large Language Models [2.6942525604796366]
大規模言語モデルを用いてアサーションを自動的に生成するツールであるLaurellを提案する。
実世界の3つのDafnysから抽出した複雑な補題のデータセットであるDafnyGymを、新しいベンチマークで評価した。
論文 参考訳（メタデータ） (2024-05-27T03:26:01Z) - Evaluating LLMs at Detecting Errors in LLM Responses [30.645694514606507]
この研究は、LLMによる客観的、現実的で多様なエラーからなる最初のエラー検出ベンチマークであるReaLMistakeを紹介した。
我々はReaLMistakeを用いて12の大規模言語モデルに基づいて誤り検出を行う。
論文 参考訳（メタデータ） (2024-04-04T17:19:47Z) - LLMs Cannot Reliably Identify and Reason About Security Vulnerabilities (Yet?): A Comprehensive Evaluation, Framework, and Benchmarks [17.522223535347905]
大規模な言語モデル(LLM)は、自動脆弱性修正に使用するために提案されているが、ベンチマークでは、セキュリティ関連のバグが一貫して欠如していることが示されている。
SecLLMHolmesは,LLMがセキュリティ関連のバグを確実に識別し,原因を判断できるかどうか,これまでで最も詳細な調査を行う,完全に自動化された評価フレームワークである。
論文 参考訳（メタデータ） (2023-12-19T20:19:43Z) - Fake Alignment: Are LLMs Really Aligned Well? [91.26543768665778]
本研究では,複数質問とオープンエンド質問の相違点について検討した。
ジェイルブレイク攻撃パターンの研究にインスパイアされた我々は、これが不一致の一般化によって引き起こされたと論じている。
論文 参考訳（メタデータ） (2023-11-10T08:01:23Z) - SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。
敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
論文 参考訳（メタデータ） (2023-10-05T17:01:53Z) - SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step
Reasoning [55.76083560152823]
SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。
我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
論文 参考訳（メタデータ） (2023-08-01T10:31:36Z) - Large Language Models are Better Reasoners with Self-Verification [48.534270563880845]
大規模言語モデル(LLM)は、いくつかの自然言語処理タスクにおいて強力な推論能力を示している。
思考の連鎖(CoT)を促進させるLLMは、個別のミスに非常に敏感な、多段階のプロンプトと多段階の予測を必要とする。
また,LLMにも同様な自己検証能力があることを示す。
論文 参考訳（メタデータ） (2022-12-19T15:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。