論文の概要: An Empirical Study of False Negatives and Positives of Static Code Analyzers From the Perspective of Historical Issues
- arxiv url: http://arxiv.org/abs/2408.13855v1
- Date: Sun, 25 Aug 2024 14:57:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 15:42:00.385421
- Title: An Empirical Study of False Negatives and Positives of Static Code Analyzers From the Perspective of Historical Issues
- Title（参考訳）: 歴史的問題からみた静的コードアナライザの偽陰性・肯定性に関する実証的研究
- Authors: Han Cui, Menglei Xie, Ting Su, Chengyu Zhang, Shin Hwei Tan,
- Abstract要約: 3つの人気のある静的コードアナライザから, 偽陰性(FN)と偽陽性(FP)の350の歴史的問題について, 最初の系統的研究を行った。
この戦略は14のFN/FPの新たな問題に成功し、そのうち11が確認され、9がすでに開発者によって修正されている。
- 参考スコア（独自算出の注目度）: 6.463945330904755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Static code analyzers are widely used to help find program flaws. However, in practice the effectiveness and usability of such analyzers is affected by the problems of false negatives (FNs) and false positives (FPs). This paper aims to investigate the FNs and FPs of such analyzers from a new perspective, i.e., examining the historical issues of FNs and FPs of these analyzers reported by the maintainers, users and researchers in their issue repositories -- each of these issues manifested as a FN or FP of these analyzers in the history and has already been confirmed and fixed by the analyzers' developers. To this end, we conduct the first systematic study on a broad range of 350 historical issues of FNs/FPs from three popular static code analyzers (i.e., PMD, SpotBugs, and SonarQube). All these issues have been confirmed and fixed by the developers. We investigated these issues' root causes and the characteristics of the corresponding issue-triggering programs. It reveals several new interesting findings and implications on mitigating FNs and FPs. Furthermore, guided by some findings of our study, we designed a metamorphic testing strategy to find FNs and FPs. This strategy successfully found 14 new issues of FNs/FPs, 11 of which have been confirmed and 9 have already been fixed by the developers. Our further manual investigation of the studied analyzers revealed one rule specification issue and additional four FNs/FPs due to the weaknesses of the implemented static analysis. We have made all the artifacts (datasets and tools) publicly available at https://zenodo.org/doi/10.5281/zenodo.11525129.
- Abstract（参考訳）: 静的コードアナライザは、プログラムの欠陥を見つけるのに広く使われている。
しかし、実際には、偽陰性(FN)と偽陽性(FP)の問題により、そのようなアナライザの有効性とユーザビリティが影響を受ける。
本稿は, これらのアナライザのFNとFPを新たな視点から検討することを目的としており, メンテナ, ユーザ, 研究者が発行リポジトリに報告したこれらのアナライザのFNとFPの歴史的問題について調査する。
この目的のために、我々は3つの人気のある静的コードアナライザ(PMD、SpotBugs、SonarQube)から、FN/FPの350の歴史的問題に関する最初の体系的研究を行った。
これらの問題はすべて、開発者によって確認され、修正されました。
これらの課題の根本原因とそれに対応する課題追跡プログラムの特性について検討した。
これは、FNとFPを緩和するいくつかの興味深い発見と意味を明らかにしている。
さらに,本研究ではFNとFPを見つけるための変成試験戦略を考案した。
この戦略は14のFN/FPの新たな問題に成功し、そのうち11が確認され、9がすでに開発者によって修正されている。
解析装置のさらなる手作業による検討により, 実装された静的解析の弱点により, 1つのルール仕様問題と4つのFN/FPが明らかになった。
すべてのアーティファクト(データセットとツール)をhttps://zenodo.org/doi/10.5281/zenodo.11525129で公開しました。
関連論文リスト
- Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。
我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。
位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
論文 参考訳（メタデータ） (2024-07-01T09:06:57Z) - Understanding and Detecting Annotation-Induced Faults of Static
Analyzers [4.824956210843882]
本稿では,注釈誘発断層(AIF)の総合的研究について紹介する。
PMD、SpotBugs、CheckStyle、Infer、SonarQube、Sootの6つのオープンソースおよび人気のある静的アナライザの246の問題を解析した。
論文 参考訳（メタデータ） (2024-02-22T08:09:01Z) - How Dataflow Diagrams Impact Software Security Analysis: an Empirical
Experiment [5.6169596483204085]
本研究では,DFDがセキュリティ分析環境におけるアナリストのパフォーマンスに与える影響を調査するための実証実験を行った結果について述べる。
その結果, モデル支援条件下では, 分析課題の正解率は有意に向上した。
実験で得られた知見に基づいて,DFDをセキュリティ分析に使用する上でのオープンな3つの課題を特定した。
論文 参考訳（メタデータ） (2024-01-09T09:22:35Z) - E&V: Prompting Large Language Models to Perform Static Analysis by
Pseudo-code Execution and Verification [7.745665775992235]
大きな言語モデル(LLM)は、ソフトウェア工学のタスクに新しい機能を提供する。
LLMは擬似コードの実行をシミュレートし、最小限の努力で擬似コードにエンコードされた静的解析を効果的に実行する。
E&Vは、外部のオラクルを必要とせずに擬似コード実行の検証プロセスを含む。
論文 参考訳（メタデータ） (2023-12-13T19:31:00Z) - The Hitchhiker's Guide to Program Analysis: A Journey with Large
Language Models [18.026567399243]
大規模言語モデル(LLM)は静的解析に代わる有望な選択肢を提供する。
本稿では,LLM支援静的解析のオープン空間を深く掘り下げる。
LLiftは,静的解析ツールとLLMの両方を併用した,完全に自動化されたフレームワークである。
論文 参考訳（メタデータ） (2023-08-01T02:57:43Z) - Pre-trained Embeddings for Entity Resolution: An Experimental Analysis
[Experiment, Analysis & Benchmark] [65.11858854040544]
我々は、17の確立されたベンチマークデータセットに対して、12のポピュラー言語モデルの徹底的な実験分析を行う。
まず、全ての入力エンティティを高密度な埋め込みベクトルに変換するためのベクトル化のオーバーヘッドを評価する。
次に,そのブロッキング性能を調査し,詳細なスケーラビリティ解析を行い,最先端のディープラーニングベースのブロッキング手法と比較する。
第3に、教師なしマッチングと教師なしマッチングの両方に対して、相対的な性能で締めくくります。
論文 参考訳（メタデータ） (2023-04-24T08:53:54Z) - Consistency Analysis of ChatGPT [65.268245109828]
本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。
その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
論文 参考訳（メタデータ） (2023-03-11T01:19:01Z) - An Empirical Study on Bug Severity Estimation using Source Code Metrics and Static Analysis [0.8621608193534838]
我々は、19のJavaオープンソースプロジェクトと異なる重度ラベルを持つ3,358のバグギーメソッドを調査した。
結果は、コードメトリクスがバグの多いコードを予測するのに有用であることを示しているが、バグの深刻度レベルを見積もることはできない。
当社の分類では、セキュリティバグがほとんどのケースで高い重大性を持っているのに対して、エッジ/バウンダリ障害は低い重大性を持っていることが示されています。
論文 参考訳（メタデータ） (2022-06-26T17:07:23Z) - Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。
人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
論文 参考訳（メタデータ） (2021-04-17T21:34:10Z) - Sentiment Analysis Based on Deep Learning: A Comparative Study [69.09570726777817]
世論の研究は我々に貴重な情報を提供することができる。
感情分析の効率性と正確性は、自然言語処理で直面する課題によって妨げられている。
本稿では、感情分析の問題を解決するためにディープラーニングを用いた最新の研究をレビューする。
論文 参考訳（メタデータ） (2020-06-05T16:28:10Z) - The Curse of Performance Instability in Analysis Datasets: Consequences,
Source, and Suggestions [93.62888099134028]
自然言語推論(NLI)および読み込み(RC)解析/ストレスセットにおける最先端モデルの性能は極めて不安定であることがわかった。
このことは、(1)不安定さがこれらの分析セットに基づいて引き出された結論の信頼性にどのように影響するかという3つの疑問を提起する。
不安定の原因に関する理論的説明と実証的証拠の両方を提示する。
論文 参考訳（メタデータ） (2020-04-28T15:41:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。