論文の概要: A Comprehensive Study on Quality Assurance Tools for Java
- arxiv url: http://arxiv.org/abs/2305.16812v2
- Date: Wed, 7 Jun 2023 11:45:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 05:25:52.129647
- Title: A Comprehensive Study on Quality Assurance Tools for Java
- Title(参考訳): Javaの品質保証ツールに関する総合的研究
- Authors: Han Liu, Sen Chen, Ruitao Feng, Chengwei Liu, Kaixuan Li, Zhengzi Xu,
Liming Nie, Yang Liu, Yixiang Chen
- Abstract要約: 品質保証(QA)ツールはますます注目を集めており、開発者に広く利用されている。
既存の研究は以下の方法で制限されている。
彼らは、スキャニングルール分析を考慮せずにツールを比較します。
研究方法論とベンチマークデータセットのため、ツールの有効性については意見が一致していない。
時間性能の分析に関する大規模な研究は行われていない。
- 参考スコア(独自算出の注目度): 15.255117038871337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quality assurance (QA) tools are receiving more and more attention and are
widely used by developers. Given the wide range of solutions for QA technology,
it is still a question of evaluating QA tools. Most existing research is
limited in the following ways: (i) They compare tools without considering
scanning rules analysis. (ii) They disagree on the effectiveness of tools due
to the study methodology and benchmark dataset. (iii) They do not separately
analyze the role of the warnings. (iv) There is no large-scale study on the
analysis of time performance. To address these problems, in the paper, we
systematically select 6 free or open-source tools for a comprehensive study
from a list of 148 existing Java QA tools. To carry out a comprehensive study
and evaluate tools in multi-level dimensions, we first mapped the scanning
rules to the CWE and analyze the coverage and granularity of the scanning
rules. Then we conducted an experiment on 5 benchmarks, including 1,425 bugs,
to investigate the effectiveness of these tools. Furthermore, we took
substantial effort to investigate the effectiveness of warnings by comparing
the real labeled bugs with the warnings and investigating their role in bug
detection. Finally, we assessed these tools' time performance on 1,049
projects. The useful findings based on our comprehensive study can help
developers improve their tools and provide users with suggestions for selecting
QA tools.
- Abstract(参考訳): 品質保証(QA)ツールはますます注目を集め、開発者に広く利用されている。
QA技術の幅広いソリューションを考えると、QAツールを評価することは依然として問題である。
現存する研究のほとんどは以下の方法で制限されている。
(i)スキャニングルール解析を考慮せずにツールを比較する。
(ii)研究方法論とベンチマークデータセットによるツールの有効性については意見が一致しない。
(iii)警告の役割を別々に分析しない。
(iv)時間パフォーマンスの分析に関する大規模な研究は行われていない。
これらの問題を解決するため、本稿では、既存の148のJava QAツールのリストから、6つのフリーまたはオープンソースツールを体系的に選択する。
総合的な研究を行い,多次元のツール評価を行うため,まずスキャンルールをCWEにマッピングし,スキャンルールの範囲と粒度を解析した。
次に,これらのツールの有効性を調べるために,1,425件のバグを含む5つのベンチマーク実験を行った。
さらに,実際のラベル付きバグと警告を比較し,バグ検出におけるそれらの役割を調べることで,警告の有効性について検討した。
最後に、これらのツールの時間パフォーマンスを1,049プロジェクトについて評価した。
包括的な調査に基づく有用な発見は、開発者がツールを改善し、QAツールを選択するための提案を提供するのに役立つ。
関連論文リスト
- Static Application Security Testing (SAST) Tools for Smart Contracts: How Far Are We? [14.974832502863526]
近年,スマートコントラクトセキュリティの重要性が高まっている。
この問題に対処するため、スマートコントラクトの脆弱性を検出するために、多数の静的アプリケーションセキュリティテスト(SAST)ツールが提案されている。
本稿では,スマートコントラクトに対する45種類の脆弱性を含む,最新のきめ細かな分類法を提案する。
論文 参考訳(メタデータ) (2024-04-28T13:40:18Z) - What Are Tools Anyway? A Survey from the Language Model Perspective [67.18843218893416]
言語モデル(LM)は強力だが、主にテキスト生成タスクに向いている。
LMが使用する外部プログラムとしてツールを統一的に定義する。
各種ツールの効率を実証的に検討した。
論文 参考訳(メタデータ) (2024-03-18T17:20:07Z) - TOOLVERIFIER: Generalization to New Tools via Self-Verification [69.85190990517184]
本稿では,ツール選択中にコントラスト質問を自己問合せすることで,近接候補を識別する自己検証手法を提案する。
ToolBenchベンチマークによる4つのタスクの実験では、17の見えないツールで構成されており、数ショットのベースラインよりも平均22%改善されている。
論文 参考訳(メタデータ) (2024-02-21T22:41:38Z) - Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool
Utilization in Real-World Complex Scenarios [95.97781233780357]
UltraToolは、ツール利用におけるLarge Language Modelsの能力を改善し評価するために設計された、新しいベンチマークである。
現実の複雑さを強調し、効果的な問題解決のために正確で多段階の計画を必要とする。
UltraToolの重要な特徴は、ツールの使用前に発生する自然言語による計画の独立した評価である。
論文 参考訳(メタデータ) (2024-01-30T16:52:56Z) - ToolEyes: Fine-Grained Evaluation for Tool Learning Capabilities of
Large Language Models in Real-world Scenarios [48.38419686697733]
本稿では,大規模言語モデルのツール学習能力を評価するためのシステムであるToolEyesを提案する。
このシステムは7つの現実シナリオを慎重に分析し、ツール学習においてLLMに不可欠な5次元を解析する。
ToolEyesには,約600のツールを備えたツールライブラリが組み込まれている。
論文 参考訳(メタデータ) (2024-01-01T12:49:36Z) - An Empirical Study of AI Generated Text Detection Tools [0.0]
ChatGPTには大きな約束がありますが、その誤用によって起こりうる深刻な問題があります。
GPTkit"、"GPTZero"、"Originality"、"Sapling"、"Writer"、"Zylalab"を含む6つの異なる人工知能(AI)テキスト識別システムは、精度が55.29から97.0%である。
論文 参考訳(メタデータ) (2023-09-27T12:44:12Z) - Automated Grading and Feedback Tools for Programming Education: A
Systematic Review [7.776434991976473]
ほとんどの論文はオブジェクト指向言語における代入の正確性を評価する。
ソースコードの保守性、可読性、ドキュメントを評価するツールは少ない。
ほとんどのツールは、ほぼ即時フィードバックを可能にする完全に自動化されたアセスメントを提供する。
論文 参考訳(メタデータ) (2023-06-20T17:54:50Z) - Large Language Models as Tool Makers [85.00361145117293]
我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。
ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
論文 参考訳(メタデータ) (2023-05-26T17:50:11Z) - LLM-based Interaction for Content Generation: A Case Study on the
Perception of Employees in an IT department [85.1523466539595]
本稿では,IT企業の従業員が生成ツールを使用する意図を明らかにするためのアンケート調査を行う。
以上の結果から, 生成ツールの比較的平均的な受容性が示唆されるが, ツールが有用であると認識されるほど, 意図が高くなることが示唆された。
分析の結果, 生産ツールの利用頻度は, 従業員が作業の文脈でこれらのツールをどのように認識しているかを理解する上で重要な要因である可能性が示唆された。
論文 参考訳(メタデータ) (2023-04-18T15:35:43Z) - Uncertainty Toolbox: an Open-Source Library for Assessing, Visualizing,
and Improving Uncertainty Quantification [15.35099402481255]
Uncertainty Toolboxは、不確実性定量化を評価し、視覚化し、改善するのに役立つpythonライブラリである。
また、重要な用語の用語集や、重要な論文参照の組織化されたコレクションなど、教育的なリソースも提供する。
論文 参考訳(メタデータ) (2021-09-21T15:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。