論文の概要: A Comprehensive Study on Quality Assurance Tools for Java
- arxiv url: http://arxiv.org/abs/2305.16812v2
- Date: Wed, 7 Jun 2023 11:45:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 05:25:52.129647
- Title: A Comprehensive Study on Quality Assurance Tools for Java
- Title（参考訳）: Javaの品質保証ツールに関する総合的研究
- Authors: Han Liu, Sen Chen, Ruitao Feng, Chengwei Liu, Kaixuan Li, Zhengzi Xu,
Liming Nie, Yang Liu, Yixiang Chen
- Abstract要約: 品質保証(QA)ツールはますます注目を集めており、開発者に広く利用されている。
既存の研究は以下の方法で制限されている。
彼らは、スキャニングルール分析を考慮せずにツールを比較します。
研究方法論とベンチマークデータセットのため、ツールの有効性については意見が一致していない。
時間性能の分析に関する大規模な研究は行われていない。
- 参考スコア（独自算出の注目度）: 15.255117038871337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quality assurance (QA) tools are receiving more and more attention and are
widely used by developers. Given the wide range of solutions for QA technology,
it is still a question of evaluating QA tools. Most existing research is
limited in the following ways: (i) They compare tools without considering
scanning rules analysis. (ii) They disagree on the effectiveness of tools due
to the study methodology and benchmark dataset. (iii) They do not separately
analyze the role of the warnings. (iv) There is no large-scale study on the
analysis of time performance. To address these problems, in the paper, we
systematically select 6 free or open-source tools for a comprehensive study
from a list of 148 existing Java QA tools. To carry out a comprehensive study
and evaluate tools in multi-level dimensions, we first mapped the scanning
rules to the CWE and analyze the coverage and granularity of the scanning
rules. Then we conducted an experiment on 5 benchmarks, including 1,425 bugs,
to investigate the effectiveness of these tools. Furthermore, we took
substantial effort to investigate the effectiveness of warnings by comparing
the real labeled bugs with the warnings and investigating their role in bug
detection. Finally, we assessed these tools' time performance on 1,049
projects. The useful findings based on our comprehensive study can help
developers improve their tools and provide users with suggestions for selecting
QA tools.
- Abstract（参考訳）: 品質保証(QA)ツールはますます注目を集め、開発者に広く利用されている。
QA技術の幅広いソリューションを考えると、QAツールを評価することは依然として問題である。
現存する研究のほとんどは以下の方法で制限されている。
(i)スキャニングルール解析を考慮せずにツールを比較する。
(ii)研究方法論とベンチマークデータセットによるツールの有効性については意見が一致しない。
(iii)警告の役割を別々に分析しない。
(iv)時間パフォーマンスの分析に関する大規模な研究は行われていない。
これらの問題を解決するため、本稿では、既存の148のJava QAツールのリストから、6つのフリーまたはオープンソースツールを体系的に選択する。
総合的な研究を行い,多次元のツール評価を行うため,まずスキャンルールをCWEにマッピングし,スキャンルールの範囲と粒度を解析した。
次に,これらのツールの有効性を調べるために,1,425件のバグを含む5つのベンチマーク実験を行った。
さらに,実際のラベル付きバグと警告を比較し,バグ検出におけるそれらの役割を調べることで,警告の有効性について検討した。
最後に、これらのツールの時間パフォーマンスを1,049プロジェクトについて評価した。
包括的な調査に基づく有用な発見は、開発者がツールを改善し、QAツールを選択するための提案を提供するのに役立つ。
関連論文リスト
- A Comprehensive Study on Static Application Security Testing (SAST) Tools for Android [22.558610938860124]
VulsTotalは、ツールがサポートする脆弱性タイプを定義し記述するための統合評価プラットフォームである。
我々は97のオプションのプールから11のオープンソースSASTツールを選択し、明確に定義された基準に従っています。
次に、Android SASTツールの一般/一般的な脆弱性タイプ67を統一します。
論文 参考訳（メタデータ） (2024-10-28T05:10:22Z) - Query Routing for Homogeneous Tools: An Instantiation in the RAG Scenario [62.615210194004106]
ツール学習に関する現在の研究は、主に様々な選択肢から最も効果的なツールを選択することに焦点を当てており、しばしば費用対効果を見落としている。
本稿では,タスクの達成に必要な性能と関連するコストの両方を予測し,同種ツールの選択に対処する。
論文 参考訳（メタデータ） (2024-06-18T09:24:09Z) - Tool Learning with Large Language Models: A Survey [60.733557487886635]
大規模言語モデル(LLM)を用いたツール学習は,高度に複雑な問題に対処するLLMの能力を強化するための,有望なパラダイムとして登場した。
この分野での注目と急速な進歩にもかかわらず、現存する文献は断片化され、体系的な組織が欠如している。
論文 参考訳（メタデータ） (2024-05-28T08:01:26Z) - Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。
既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。
我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
論文 参考訳（メタデータ） (2024-05-25T06:41:23Z) - Efficacy of static analysis tools for software defect detection on open-source projects [0.0]
この調査では、SonarQube、PMD、Checkstyle、FindBugsといった一般的な分析ツールを使って比較を行った。
その結果,SonarQubeの欠陥検出は,他のツールと比較してかなり優れていることがわかった。
論文 参考訳（メタデータ） (2024-05-20T19:05:32Z) - Static Application Security Testing (SAST) Tools for Smart Contracts: How Far Are We? [14.974832502863526]
近年,スマートコントラクトセキュリティの重要性が高まっている。
この問題に対処するため、スマートコントラクトの脆弱性を検出するために、多数の静的アプリケーションセキュリティテスト(SAST)ツールが提案されている。
本稿では,スマートコントラクトに対する45種類の脆弱性を含む,最新のきめ細かな分類法を提案する。
論文 参考訳（メタデータ） (2024-04-28T13:40:18Z) - What Are Tools Anyway? A Survey from the Language Model Perspective [67.18843218893416]
言語モデル(LM)は強力だが、主にテキスト生成タスクに向いている。
LMが使用する外部プログラムとしてツールを統一的に定義する。
各種ツールの効率を実証的に検討した。
論文 参考訳（メタデータ） (2024-03-18T17:20:07Z) - TOOLVERIFIER: Generalization to New Tools via Self-Verification [69.85190990517184]
本稿では,ツール選択中にコントラスト質問を自己問合せすることで,近接候補を識別する自己検証手法を提案する。
ToolBenchベンチマークによる4つのタスクの実験では、17の見えないツールで構成されており、数ショットのベースラインよりも平均22%改善されている。
論文 参考訳（メタデータ） (2024-02-21T22:41:38Z) - ToolEyes: Fine-Grained Evaluation for Tool Learning Capabilities of
Large Language Models in Real-world Scenarios [48.38419686697733]
本稿では,大規模言語モデルのツール学習能力を評価するためのシステムであるToolEyesを提案する。
このシステムは7つの現実シナリオを慎重に分析し、ツール学習においてLLMに不可欠な5次元を解析する。
ToolEyesには,約600のツールを備えたツールライブラリが組み込まれている。
論文 参考訳（メタデータ） (2024-01-01T12:49:36Z) - Automated Grading and Feedback Tools for Programming Education: A
Systematic Review [7.776434991976473]
ほとんどの論文はオブジェクト指向言語における代入の正確性を評価する。
ソースコードの保守性、可読性、ドキュメントを評価するツールは少ない。
ほとんどのツールは、ほぼ即時フィードバックを可能にする完全に自動化されたアセスメントを提供する。
論文 参考訳（メタデータ） (2023-06-20T17:54:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。