論文の概要: Supporting Error Chains in Static Analysis for Precise Evaluation
Results and Enhanced Usability
- arxiv url: http://arxiv.org/abs/2403.07808v1
- Date: Tue, 12 Mar 2024 16:46:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 20:30:04.773777
- Title: Supporting Error Chains in Static Analysis for Precise Evaluation
Results and Enhanced Usability
- Title（参考訳）: 高精度評価結果とユーザビリティ向上のための静的解析におけるエラー連鎖支援
- Authors: Anna-Katharina Wickert and Michael Schlichtig and Marvin Vogel and
Lukas Winter and Mira Mezini and Eric Bodden
- Abstract要約: 静的解析は、固定位置よりも脆弱性が現れる場所を報告する傾向にある。
これは仮定された偽陽性や不正確な結果を引き起こす可能性がある。
我々は、既存の静的解析アルゴリズムを適応させ、マニフェストと固定位置を区別できるように設計した。
- 参考スコア（独自算出の注目度）: 2.8557828838739527
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Context: Static analyses are well-established to aid in understanding bugs or
vulnerabilities during the development process or in large-scale studies. A low
false-positive rate is essential for the adaption in practice and for precise
results of empirical studies. Unfortunately, static analyses tend to report
where a vulnerability manifests rather than the fix location. This can cause
presumed false positives or imprecise results. Method: To address this problem,
we designed an adaption of an existing static analysis algorithm that can
distinguish between a manifestation and fix location, and reports error chains.
An error chain represents at least two interconnected errors that occur
successively, thus building the connection between the fix and manifestation
location. We used our tool CogniCryptSUBS for a case study on 471 GitHub
repositories, a performance benchmark to compare different analysis
configurations, and conducted an expert interview. Result: We found that 50 %
of the projects with a report had at least one error chain. Our runtime
benchmark demonstrated that our improvement caused only a minimal runtime
overhead of less than 4 %. The results of our expert interview indicate that
with our adapted version participants require fewer executions of the analysis.
Conclusion: Our results indicate that error chains occur frequently in
real-world projects, and ignoring them can lead to imprecise evaluation
results. The runtime benchmark indicates that our tool is a feasible and
efficient solution for detecting error chains in real-world projects. Further,
our results gave a hint that the usability of static analyses may benefit from
supporting error chains.
- Abstract（参考訳）: コンテキスト: 静的分析は、開発プロセスや大規模な研究において、バグや脆弱性を理解するのに役立ちます。
偽陽性率が低いことは、実践における適応と経験的研究の正確な結果に不可欠である。
残念なことに、静的解析は、修正位置ではなく脆弱性が現れる場所を報告する傾向がある。
これは疑わしい偽陽性または不正確な結果を引き起こす可能性がある。
方法: この問題に対処するため, 既存の静的解析アルゴリズムを適応させて, 表示と固定位置を区別し, エラー連鎖を報告する手法を考案した。
エラー連鎖は、連続して発生する少なくとも2つの相互接続エラーを表すので、固定位置と表示位置の間の接続を構築する。
当社のツールであるcognicryptsubsを使って、471のgithubリポジトリのケーススタディ、さまざまな分析構成を比較するためのパフォーマンスベンチマーク、エキスパートインタビューを実施しました。
結果: レポートのあるプロジェクトの50パーセントには,少なくとも1つのエラー連鎖があったことが分かりました。
当社のランタイムベンチマークは、改善が最小限のランタイムオーバヘッドを4パーセント未満に抑えたことを示しています。
専門家インタビューの結果から,適応版では分析の実行が少なくなることが示唆された。
結論: 実世界のプロジェクトではエラー連鎖が頻繁に発生し, 無視することで不正確な評価結果につながる可能性が示唆された。
ランタイムベンチマークは、このツールは現実のプロジェクトでエラー連鎖を検出するための実現可能で効率的なソリューションであることを示している。
さらに,この結果から,静的解析の有用性がエラー連鎖のサポートの恩恵を受ける可能性が示唆された。
関連論文リスト
- Understanding and Detecting Annotation-Induced Faults of Static
Analyzers [4.824956210843882]
本稿では,注釈誘発断層(AIF)の総合的研究について紹介する。
PMD、SpotBugs、CheckStyle、Infer、SonarQube、Sootの6つのオープンソースおよび人気のある静的アナライザの246の問題を解析した。
論文 参考訳（メタデータ） (2024-02-22T08:09:01Z) - E&V: Prompting Large Language Models to Perform Static Analysis by
Pseudo-code Execution and Verification [7.745665775992235]
大きな言語モデル(LLM)は、ソフトウェア工学のタスクに新しい機能を提供する。
LLMは擬似コードの実行をシミュレートし、最小限の努力で擬似コードにエンコードされた静的解析を効果的に実行する。
E&Vは、外部のオラクルを必要とせずに擬似コード実行の検証プロセスを含む。
論文 参考訳（メタデータ） (2023-12-13T19:31:00Z) - Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis,
and LLMs Evaluations [111.88727295707454]
本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。
本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。
我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
論文 参考訳（メタデータ） (2023-06-07T17:47:03Z) - An Unbiased Transformer Source Code Learning with Semantic Vulnerability
Graph [3.3598755777055374]
現在の脆弱性スクリーニング技術は、新しい脆弱性を特定したり、開発者がコード脆弱性と分類を提供するのに効果がない。
これらの問題に対処するために,変換器 "RoBERTa" とグラフ畳み込みニューラルネットワーク (GCN) を組み合わせたマルチタスク・アンバイアス脆弱性分類器を提案する。
本稿では、逐次フロー、制御フロー、データフローからエッジを統合することで生成されたソースコードからのセマンティック脆弱性グラフ(SVG)表現と、Poacher Flow(PF)と呼ばれる新しいフローを利用したトレーニングプロセスを提案する。
論文 参考訳（メタデータ） (2023-04-17T20:54:14Z) - Contrastive Error Attribution for Finetuned Language Models [35.80256755393739]
ノイズと誤記のデータは、自然言語生成(NLG)タスクにおける幻覚と不誠実なアウトプットの中核的な原因である。
望ましくないアウトプットにつながる低品質のトレーニングインスタンスを特定し、削除するフレームワークを導入します。
本研究では、勾配に基づく影響尺度のような既存の誤差追跡手法は、忠実度誤差を検出するために確実に機能しないことを示す。
論文 参考訳（メタデータ） (2022-12-21T02:28:07Z) - Understanding Factual Errors in Summarization: Errors, Summarizers,
Datasets, Error Detectors [105.12462629663757]
本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。
本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
論文 参考訳（メタデータ） (2022-05-25T15:26:48Z) - Learning to Reduce False Positives in Analytic Bug Detectors [12.733531603080674]
偽陽性のバグ警告を識別するためのトランスフォーマーに基づく学習手法を提案する。
我々は,静的解析の精度を17.5%向上させることができることを示した。
論文 参考訳（メタデータ） (2022-03-08T04:26:26Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Tracking the risk of a deployed model and detecting harmful distribution
shifts [105.27463615756733]
実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。
我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
論文 参考訳（メタデータ） (2021-10-12T17:21:41Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-14T05:39:09Z) - Reducing Confusion in Active Learning for Part-Of-Speech Tagging [100.08742107682264]
アクティブラーニング(AL)は、データ選択アルゴリズムを使用して、アノテーションコストを最小限に抑えるために有用なトレーニングサンプルを選択する。
本研究では、特定の出力タグのペア間の混乱を最大に低減するインスタンスの選択問題について検討する。
提案するAL戦略は,他のAL戦略よりも有意差で優れている。
論文 参考訳（メタデータ） (2020-11-02T06:24:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。