論文の概要: Human-in-the-loop online just-in-time software defect prediction
- arxiv url: http://arxiv.org/abs/2308.13707v1
- Date: Fri, 25 Aug 2023 23:40:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 12:25:21.075815
- Title: Human-in-the-loop online just-in-time software defect prediction
- Title(参考訳): Human-in-the-loop Online Just-in-timeソフトウェア欠陥予測
- Authors: Xutong Liu, Yufei Zhou, Yutian Tang, Junyan Qian, Yuming Zhou
- Abstract要約: 我々は,SQAスタッフからのフィードバックを統合して予測プロセスを強化するHuman-In-The-Loop (HITL) O-JIT-SDPを提案する。
また,k-fold分散ブートストラップ法とWilcoxon符号ランク試験を併用した性能評価フレームワークを提案する。
これらの進歩は、産業アプリケーションにおけるO-JIT-SDPの価値を大幅に向上させる可能性を秘めている。
- 参考スコア(独自算出の注目度): 6.35776510153759
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Online Just-In-Time Software Defect Prediction (O-JIT-SDP) uses an online
model to predict whether a new software change will introduce a bug or not.
However, existing studies neglect the interaction of Software Quality Assurance
(SQA) staff with the model, which may miss the opportunity to improve the
prediction accuracy through the feedback from SQA staff. To tackle this
problem, we propose Human-In-The-Loop (HITL) O-JIT-SDP that integrates feedback
from SQA staff to enhance the prediction process. Furthermore, we introduce a
performance evaluation framework that utilizes a k-fold distributed bootstrap
method along with the Wilcoxon signed-rank test. This framework facilitates
thorough pairwise comparisons of alternative classification algorithms using a
prequential evaluation approach. Our proposal enables continuous statistical
testing throughout the prequential process, empowering developers to make
real-time decisions based on robust statistical evidence. Through
experimentation across 10 GitHub projects, we demonstrate that our evaluation
framework enhances the credibility of model evaluation, and the incorporation
of HITL feedback elevates the prediction performance of online JIT-SDP models.
These advancements hold the potential to significantly enhance the value of
O-JIT-SDP for industrial applications.
- Abstract(参考訳): オンラインジャストインタイムソフトウェア欠陥予測(o-jit-sdp)は、オンラインモデルを使用して、新しいソフトウェア変更がバグを引き起こすかどうかを予測する。
しかし、既存の研究では、ソフトウェア品質保証(SQA)スタッフとモデルとの相互作用を無視しており、SQAスタッフからのフィードバックによって予測精度を改善する機会を逃す可能性がある。
この問題に対処するために,SQAスタッフからのフィードバックを統合し,予測プロセスを強化するHuman-In-The-Loop (HITL) O-JIT-SDPを提案する。
さらに,k-fold分散ブートストラップ法とwilcoxon符号付きランクテストを用いたパフォーマンス評価フレームワークを提案する。
このフレームワークは、前列的評価アプローチを用いて、代替分類アルゴリズムの完全なペアワイズ比較を容易にする。
本提案は,事前のプロセスを通じて連続的な統計テストを可能にし,ロバストな統計証拠に基づくリアルタイムな意思決定を可能にする。
10のGitHubプロジェクトを対象とした実験により,評価フレームワークがモデル評価の信頼性を高め,HITLフィードバックの導入によってオンラインJIT-SDPモデルの予測性能が向上することが実証された。
これらの進歩は、産業アプリケーションにおけるO-JIT-SDPの価値を大幅に向上させる可能性を秘めている。
関連論文リスト
- Improving Machine Translation with Human Feedback: An Exploration of
Quality Estimation as a Reward Model [79.45416224840135]
報酬モデルにおける人間の嗜好の不十分なモデリングは、人間のフィードバックを活用して翻訳品質を向上させる上で大きな障害となる。
本研究では,QEモデルを報酬モデルとして活用し,フィードバックトレーニングにおける人間の嗜好を予測する可能性について検討する。
実験結果から,提案したQEに基づくフィードバックトレーニングは,様々な設定において一貫した,重要な改善を達成できることが示唆された。
論文 参考訳(メタデータ) (2024-01-23T16:07:43Z) - QualEval: Qualitative Evaluation for Model Improvement [86.29905469151566]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - Deep Incremental Learning of Imbalanced Data for Just-In-Time Software
Defect Prediction [3.2022080692044352]
この研究は、Just-In-Time Software Defect Prediction (JIT-SDP)モデルに関する3つの観測から生まれた。
まず,JIT-SDP問題を分類問題として扱う。
第二に、JIT-SDP 以前の研究では、クラスバランス処理がソフトウェア変更セットデータの基盤となる特性を変えるとは考えていない。
論文 参考訳(メタデータ) (2023-10-18T19:42:34Z) - Let's reward step by step: Step-Level reward model as the Navigators for
Reasoning [64.27898739929734]
Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。
LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。
提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
論文 参考訳(メタデータ) (2023-10-16T05:21:50Z) - IRJIT: A simple, online, information retrieval approach for just-in-time
software defect prediction [11.016730029019524]
ジャスト・イン・タイムのソフトウェア欠陥予測は、コミットチェックイン時にそれらを特定することによって、ソフトウェアに欠陥を導入するのを防ぐ。
現在の欠陥予測アプローチは、変更メトリクスなどの手作業による機能に依存しており、マシンラーニングやディープラーニングモデルのトレーニングにコストがかかる。
我々は,ソースコード上の情報検索を利用して,過去のバグやクリーンなコミットと類似性に基づいて,新しいコミットをバグやクリーンとしてラベル付けするIRJITという手法を提案する。
論文 参考訳(メタデータ) (2022-10-05T17:54:53Z) - A Reinforcement Learning Framework for PQoS in a Teleoperated Driving
Scenario [18.54699818319184]
PQoS機能を実装したRANレベルで実装された新しいエンティティの設計を提案する。
具体的には,学習者の報酬関数の設計に焦点をあて,要求が満たされない場合,見積もりを適切な対策に変換することができる。
我々は, ns-3シミュレーションを用いて, 遠隔運転のようなシナリオにおいて, エンドユーザーのQoE(Quality of Experience, QoE)パフォーマンスにおいて, 最良のトレードオフを実現することを実証した。
論文 参考訳(メタデータ) (2022-02-04T02:59:16Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳(メタデータ) (2021-06-22T18:29:58Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳(メタデータ) (2021-05-10T08:02:27Z) - An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear
Analysis [68.8204255655161]
人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。
シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
論文 参考訳(メタデータ) (2020-07-14T15:47:37Z) - Software Defect Prediction Based On Deep Learning Models: Performance
Study [0.5735035463793008]
Stack Sparse Auto-Encoder(SSAE)とDeep Belief Network(DBN)の2つのディープラーニングモデルがデプロイされ、NASAデータセットを分類する。
実験の結果,十分なサンプルが得られたデータセットの精度が向上した。
論文 参考訳(メタデータ) (2020-04-02T06:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。