論文の概要: Reducing False Positives in Static Bug Detection with LLMs: An Empirical Study in Industry

• arxiv url: http://arxiv.org/abs/2601.18844v1
• Date: Mon, 26 Jan 2026 12:17:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.00833
• Title: Reducing False Positives in Static Bug Detection with LLMs: An Empirical Study in Industry
• Title（参考訳）: LLMを用いた静的バグ検出における偽陽性率の低減 : 産業における実証的研究
• Authors: Xueying Du, Jiayi Feng, Yi Zou, Wei Xu, Jie Ma, Wei Zhang, Sisi Liu, Xin Peng, Yiling Lou,
• Abstract要約: 静的解析ツール(SAT)は、ソフトウェア品質を改善するために、学術と産業の両方で広く採用されている。 これらの誤報は、重大な手動検査を要求し、産業コードレビューにおいて深刻な非効率を生み出す。 この研究は、Tencentの企業向けSATから大規模広告マーケティングサービスソフトウェアにデータを利用する。
• 参考スコア（独自算出の注目度）: 20.810146679962017
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Static analysis tools (SATs) are widely adopted in both academia and industry for improving software quality, yet their practical use is often hindered by high false positive rates, especially in large-scale enterprise systems. These false alarms demand substantial manual inspection, creating severe inefficiencies in industrial code review. While recent work has demonstrated the potential of large language models (LLMs) for false alarm reduction on open-source benchmarks, their effectiveness in real-world enterprise settings remains unclear. To bridge this gap, we conduct the first comprehensive empirical study of diverse LLM-based false alarm reduction techniques in an industrial context at Tencent, one of the largest IT companies in China. Using data from Tencent's enterprise-customized SAT on its large-scale Advertising and Marketing Services software, we construct a dataset of 433 alarms (328 false positives, 105 true positives) covering three common bug types. Through interviewing developers and analyzing the data, our results highlight the prevalence of false positives, which wastes substantial manual effort (e.g., 10-20 minutes of manual inspection per alarm). Meanwhile, our results show the huge potential of LLMs for reducing false alarms in industrial settings (e.g., hybrid techniques of LLM and static analysis eliminate 94-98% of false positives with high recall). Furthermore, LLM-based techniques are cost-effective, with per-alarm costs as low as 2.1-109.5 seconds and $0.0011-$0.12, representing orders-of-magnitude savings compared to manual review. Finally, our case analysis further identifies key limitations of LLM-based false alarm reduction in industrial settings.
• Abstract（参考訳）: 静的解析ツール(SAT)は、ソフトウェア品質を改善するために学術と産業の両方で広く採用されているが、特に大規模エンタープライズシステムでは、高い偽陽性率によってその実用性が妨げられていることが多い。 これらの誤報は、重大な手動検査を要求し、産業コードレビューにおいて深刻な非効率を生み出す。 最近の研究は、オープンソースのベンチマークで誤警報を減らすための大規模言語モデル(LLM)の可能性を示しているが、実際のエンタープライズ環境での有効性は明らかではない。 このギャップを埋めるため、中国最大のIT企業のひとつであるTencentにおいて、多様なLCMベースの誤警報低減技術に関する、初めて包括的な実証研究を行った。 Tencentの大規模なAdvertising and Marketing Servicesソフトウェア上で、企業向けにカスタマイズされたSATのデータを使用して、3つの一般的なバグタイプをカバーする433のアラーム(328の偽陽性、105の真陽性)のデータセットを構築します。 開発者へのインタビューとデータ分析を通じて、我々の結果は偽陽性の頻度を強調し、これはかなりの手作業(例えば、アラームあたり10～20分の手動検査)を無駄にする。 一方, 産業環境下での誤報の低減には, LLMの潜在可能性が大きい(例えば, LLMと静的解析のハイブリッド技術は, 高リコール率の偽陽性の94-98%を排除している)。 さらに、LSMベースの技術はコスト効率が良く、アラーム当たりのコストは2.1-109.5秒と0.0011-$0.12と低い。 最後に, 産業環境におけるLCMによる誤警報低減の鍵となる限界を, 事例分析により明らかにした。

関連論文リスト

• LLM-based Vulnerability Detection at Project Scale: An Empirical Study [4.425169461271698]
  本研究は,LSMをベースとした特殊検出器の総合的研究であり,従来の静的解析器と比較するものである。 本研究は, 現在のLCM検出器の堅牢性, 信頼性, 拡張性において, 限界を指摘するものである。
  論文  参考訳（メタデータ） (2026-01-27T06:20:00Z)
• ZeroFalse: Improving Precision in Static Analysis with LLMs [0.1759008116536278]
  静的アプリケーションセキュリティテスト(SAST)ツールは、現代のソフトウェア開発に不可欠なツールだが、その採用は過度の偽陽性によって損なわれている。 ZeroFalseは,大規模言語モデル(LLM)と静的解析を統合して,カバレッジを維持しながら偽陽性を減らすフレームワークである。
  論文  参考訳（メタデータ） (2025-10-02T20:07:25Z)
• Towards Effective Complementary Security Analysis using Large Language Models [3.203446435054805]
  セキュリティ分析における重要な課題は、静的アプリケーションセキュリティテスト(SAST)ツールによって生成される潜在的なセキュリティの弱点を手動で評価することである。 本研究では,SAST 結果の評価を改善するために,Large Language Models (LLMs) を提案する。
  論文  参考訳（メタデータ） (2025-06-20T10:46:35Z)
• Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
  大規模言語モデルは、自動脆弱性検出のための有望なツールである。 LLMは現実世界の脆弱性を検出するのに本当に効果的か? 本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
  論文  参考訳（メタデータ） (2025-04-18T05:32:47Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• A Comprehensive Survey of Contamination Detection Methods in Large Language Models [68.10605098856087]
  近年のLarge Language Models(LLM)の台頭に伴い、多くの新しい機会が生まれつつありますが、新たな課題もあります。 LLMの性能は、データへの以前の露出のために、少なくとも部分的には高性能である可能性があるため、もはや信頼性が低い可能性がある。 この制限は、NLPの分野での実際の能力向上を阻害するが、汚染を効率的に検出する方法が不足している。
  論文  参考訳（メタデータ） (2024-03-31T14:32:02Z)
• Understanding the Effectiveness of Large Language Models in Detecting Security Vulnerabilities [12.82645410161464]
  5つの異なるセキュリティデータセットから5,000のコードサンプルに対して、16の事前学習された大規模言語モデルの有効性を評価する。 全体として、LSMは脆弱性の検出において最も穏やかな効果を示し、データセットの平均精度は62.8%、F1スコアは0.71である。 ステップバイステップ分析を含む高度なプロンプト戦略は、F1スコア(平均0.18まで)で実世界のデータセット上でのLLMのパフォーマンスを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-11-16T13:17:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。