論文の概要: A Large Language Model Approach to Identify Flakiness in C++ Projects

• arxiv url: http://arxiv.org/abs/2412.12340v1
• Date: Mon, 16 Dec 2024 20:20:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:00:26.908869
• Title: A Large Language Model Approach to Identify Flakiness in C++ Projects
• Title（参考訳）: C++プロジェクトにおけるフレキネスの同定のための大規模言語モデルアプローチ
• Authors: Xin Sun, Daniel Ståhl, Kristian Sandahl,
• Abstract要約: 不安定なテストは非決定的な振る舞いを導入し、回帰テスト結果の信頼性を損なう。 コードレベルでのC++プロジェクトにおけるフレキテストの根本原因を特定するためのLLMベースのアプローチを提案する。 我々は、C++データセットと既存のJavaデータセット上でMistral-7b、Llama2-7b、CodeLlama-7bモデルを微調整し、精度、リコール、精度、F1スコアで性能を評価する。
• 参考スコア（独自算出の注目度）: 3.549578374095042
• License:
• Abstract: The role of regression testing in software testing is crucial as it ensures that any new modifications do not disrupt the existing functionality and behaviour of the software system. The desired outcome is for regression tests to yield identical results without any modifications made to the system being tested. In practice, however, the presence of Flaky Tests introduces non-deterministic behaviour and undermines the reliability of regression testing results. In this paper, we propose an LLM-based approach for identifying the root cause of flaky tests in C++ projects at the code level, with the intention of assisting developers in debugging and resolving them more efficiently. We compile a comprehensive collection of C++ project flaky tests sourced from GitHub repositories. We fine-tune Mistral-7b, Llama2-7b and CodeLlama-7b models on the C++ dataset and an existing Java dataset and evaluate the performance in terms of precision, recall, accuracy, and F1 score. We assess the performance of the models across various datasets and offer recommendations for both research and industry applications. The results indicate that our models exhibit varying performance on the C++ dataset, while their performance is comparable to that of the Java dataset. The Mistral-7b surpasses the other two models regarding all metrics, achieving a score of 1. Our results demonstrate the exceptional capability of LLMs to accurately classify flakiness in C++ and Java projects, providing a promising approach to enhance the efficiency of debugging flaky tests in practice.
• Abstract（参考訳）: ソフトウェアテストにおける回帰テストの役割は、ソフトウェアシステムの既存の機能や振る舞いを損なわないよう、新しい修正を確実にする上で不可欠である。 望ましい結果は、回帰テストが、テスト対象のシステムに変更を加えることなく、同じ結果をもたらすことである。 しかし、実際には、Fraky Testsの存在は非決定的な振る舞いを導入し、回帰テスト結果の信頼性を損なう。 本稿では,コードレベルでの C++ プロジェクトのフレーカーテストの根本原因を特定するための LLM ベースのアプローチを提案する。 GitHubリポジトリからソースされたC++プロジェクトの派手なテストの包括的なコレクションをコンパイルします。 我々は、C++データセットと既存のJavaデータセット上でMistral-7b、Llama2-7b、CodeLlama-7bモデルを微調整し、精度、リコール、精度、F1スコアで性能を評価する。 モデルの性能をさまざまなデータセットで評価し,研究用と産業用の両方に推奨する。 その結果、我々のモデルはC++データセットで様々なパフォーマンスを示し、その性能はJavaデータセットに匹敵することがわかった。 Mistral-7bは、すべてのメトリクスに関する他の2つのモデルを超え、スコアは1。 この結果は,C++ や Java プロジェクトのフレキネスを正確に分類する LLM の異常な能力を示し,フレキテストのデバッグ効率を高めるための有望なアプローチを提供する。

関連論文リスト

• TestBench: Evaluating Class-Level Test Case Generation Capability of Large Language Models [8.22619177301814]
  クラスレベルのLLMベースのテストケース生成のためのベンチマークであるTestBenchを紹介する。 GitHub上の9つの実世界の大規模プロジェクトから108のJavaプログラムのデータセットを構築します。 本稿では,構文的正当性,コンパイル的正当性,テスト的正当性,コードカバレッジ率,欠陥検出率という,テストケースの5つの側面を考慮した詳細な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-26T06:18:06Z)
• Multi-language Unit Test Generation using LLMs [6.259245181881262]
  静的解析を組み込んだジェネリックパイプラインを記述し,コンパイル可能な高カバレッジテストケースの生成においてLCMをガイドする。 パイプラインをさまざまなプログラミング言語、特にJavaとPython、そして環境モックを必要とする複雑なソフトウェアに適用する方法を示します。 以上の結果から,静的解析によって導かれるLCMベースのテスト生成は,最新のテスト生成技術と競合し,さらに性能も向上することが示された。
  論文  参考訳（メタデータ） (2024-09-04T21:46:18Z)
• RepoMasterEval: Evaluating Code Completion via Real-World Repositories [12.176098357240095]
  RepoMasterEvalは、現実のPythonとTypeScriptリポジトリから構築されたコード補完モデルを評価するための新しいベンチマークである。 モデル生成コードのテスト精度を向上させるため,テストケースの有効性を測定するために突然変異試験を用いる。 6つの最先端モデルに対する実証的な評価は、テスト議論がベンチマークの精度向上に重要であることを示している。
  論文  参考訳（メタデータ） (2024-08-07T03:06:57Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• GRATH: Gradual Self-Truthifying for Large Language Models [63.502835648056305]
  GRATH(Gradual Self-Truthifying)は,大規模言語モデル(LLM)の真偽性を高めるためのポストプロセッシング手法である。 GRATHは、反復的に真理データを洗練し、モデルを更新する。 GRATHはTruthfulQAの最先端性能を達成し、MC1の精度は54.71%、MC2の精度は69.10%であり、70B-LLMよりも高い。
  論文  参考訳（メタデータ） (2024-01-22T19:00:08Z)
• DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
  DebugBench - LLM(Large Language Models)のベンチマーク。 C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。 ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-09T15:46:38Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• Teaching Large Language Models to Self-Debug [62.424077000154945]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:43:43Z)
• Comparative Code Structure Analysis using Deep Learning for Performance Prediction [18.226950022938954]
  本稿では,アプリケーションの静的情報(抽象構文木やASTなど)を用いてコード構造の変化に基づいて性能変化を予測することの実現可能性を評価することを目的とする。 組込み学習手法の評価により,木系長短メモリ(LSTM)モデルでは,ソースコードの階層構造を利用して遅延表現を発見し,最大84%(個人的問題)と73%(複数の問題を含む組み合わせデータセット)の精度で性能変化を予測できることが示された。
  論文  参考訳（メタデータ） (2021-02-12T16:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。