論文の概要: Human-in-the-loop online just-in-time software defect prediction
- arxiv url: http://arxiv.org/abs/2308.13707v1
- Date: Fri, 25 Aug 2023 23:40:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 12:25:21.075815
- Title: Human-in-the-loop online just-in-time software defect prediction
- Title（参考訳）: Human-in-the-loop Online Just-in-timeソフトウェア欠陥予測
- Authors: Xutong Liu, Yufei Zhou, Yutian Tang, Junyan Qian, Yuming Zhou
- Abstract要約: 我々は,SQAスタッフからのフィードバックを統合して予測プロセスを強化するHuman-In-The-Loop (HITL) O-JIT-SDPを提案する。
また,k-fold分散ブートストラップ法とWilcoxon符号ランク試験を併用した性能評価フレームワークを提案する。
これらの進歩は、産業アプリケーションにおけるO-JIT-SDPの価値を大幅に向上させる可能性を秘めている。
- 参考スコア（独自算出の注目度）: 6.35776510153759
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Online Just-In-Time Software Defect Prediction (O-JIT-SDP) uses an online
model to predict whether a new software change will introduce a bug or not.
However, existing studies neglect the interaction of Software Quality Assurance
(SQA) staff with the model, which may miss the opportunity to improve the
prediction accuracy through the feedback from SQA staff. To tackle this
problem, we propose Human-In-The-Loop (HITL) O-JIT-SDP that integrates feedback
from SQA staff to enhance the prediction process. Furthermore, we introduce a
performance evaluation framework that utilizes a k-fold distributed bootstrap
method along with the Wilcoxon signed-rank test. This framework facilitates
thorough pairwise comparisons of alternative classification algorithms using a
prequential evaluation approach. Our proposal enables continuous statistical
testing throughout the prequential process, empowering developers to make
real-time decisions based on robust statistical evidence. Through
experimentation across 10 GitHub projects, we demonstrate that our evaluation
framework enhances the credibility of model evaluation, and the incorporation
of HITL feedback elevates the prediction performance of online JIT-SDP models.
These advancements hold the potential to significantly enhance the value of
O-JIT-SDP for industrial applications.
- Abstract（参考訳）: オンラインジャストインタイムソフトウェア欠陥予測(o-jit-sdp)は、オンラインモデルを使用して、新しいソフトウェア変更がバグを引き起こすかどうかを予測する。
しかし、既存の研究では、ソフトウェア品質保証(SQA)スタッフとモデルとの相互作用を無視しており、SQAスタッフからのフィードバックによって予測精度を改善する機会を逃す可能性がある。
この問題に対処するために,SQAスタッフからのフィードバックを統合し,予測プロセスを強化するHuman-In-The-Loop (HITL) O-JIT-SDPを提案する。
さらに,k-fold分散ブートストラップ法とwilcoxon符号付きランクテストを用いたパフォーマンス評価フレームワークを提案する。
このフレームワークは、前列的評価アプローチを用いて、代替分類アルゴリズムの完全なペアワイズ比較を容易にする。
本提案は,事前のプロセスを通じて連続的な統計テストを可能にし,ロバストな統計証拠に基づくリアルタイムな意思決定を可能にする。
10のGitHubプロジェクトを対象とした実験により,評価フレームワークがモデル評価の信頼性を高め,HITLフィードバックの導入によってオンラインJIT-SDPモデルの予測性能が向上することが実証された。
これらの進歩は、産業アプリケーションにおけるO-JIT-SDPの価値を大幅に向上させる可能性を秘めている。
関連論文リスト
- A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
大規模言語モデル(LLM)における最初の形式的確率的評価フレームワークを紹介する。
モデルの出力分布に関する高い確率保証を持つ新しい指標を導出する。
私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
論文 参考訳（メタデータ） (2024-10-04T15:44:23Z) - Aligning Model Evaluations with Human Preferences: Mitigating Token Count Bias in Language Model Assessments [2.1370543868467275]
本稿では,大規模言語モデルと人的評価を協調させる手法について検討する。
我々はこのバイアスを定量化するためにベイズ統計とt検定を用い、GPTScorerを調整するための再校正手順を開発した。
以上の結果から,再校正したLCM評価器と,複数のユースケースにおけるヒト評価との整合性は有意に改善した。
論文 参考訳（メタデータ） (2024-07-05T09:26:40Z) - Improving Machine Translation with Human Feedback: An Exploration of Quality Estimation as a Reward Model [75.66013048128302]
本研究では,QEモデルを報酬モデルとして活用し,フィードバックトレーニングにおける人間の嗜好を予測する可能性について検討する。
まず,QEに基づくフィードバックトレーニングにおいて,翻訳品質が低下する中で,報酬の増大として現れる過度な最適化問題を同定した。
問題に対処するために,ルールを用いて誤った翻訳を検知し,報酬のスコアにペナルティ項を割り当てる,シンプルで効果的な手法を採用する。
論文 参考訳（メタデータ） (2024-01-23T16:07:43Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - Deep Incremental Learning of Imbalanced Data for Just-In-Time Software
Defect Prediction [3.2022080692044352]
この研究は、Just-In-Time Software Defect Prediction (JIT-SDP)モデルに関する3つの観測から生まれた。
まず,JIT-SDP問題を分類問題として扱う。
第二に、JIT-SDP 以前の研究では、クラスバランス処理がソフトウェア変更セットデータの基盤となる特性を変えるとは考えていない。
論文 参考訳（メタデータ） (2023-10-18T19:42:34Z) - From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。
これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。
我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - IRJIT: A Simple, Online, Information Retrieval Approach for Just-In-Time Software Defect Prediction [10.084626547964389]
Just-in-Timeソフトウェア欠陥予測(JIT-SDP)は、コミットチェックイン時にそれらを特定することによって、ソフトウェアへの欠陥の導入を防止する。
現在のソフトウェア欠陥予測アプローチは、変更メトリクスなどの手作業による機能に依存しており、マシンラーニングやディープラーニングモデルのトレーニングにコストがかかる。
我々は,ソースコード上の情報検索を利用して,過去のバグやクリーンなコミットと類似性に基づいて,新しいコミットをバグやクリーンとしてラベル付けするIRJITという手法を提案する。
論文 参考訳（メタデータ） (2022-10-05T17:54:53Z) - A Reinforcement Learning Framework for PQoS in a Teleoperated Driving
Scenario [18.54699818319184]
PQoS機能を実装したRANレベルで実装された新しいエンティティの設計を提案する。
具体的には,学習者の報酬関数の設計に焦点をあて,要求が満たされない場合,見積もりを適切な対策に変換することができる。
我々は, ns-3シミュレーションを用いて, 遠隔運転のようなシナリオにおいて, エンドユーザーのQoE(Quality of Experience, QoE)パフォーマンスにおいて, 最良のトレードオフを実現することを実証した。
論文 参考訳（メタデータ） (2022-02-04T02:59:16Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳（メタデータ） (2021-06-22T18:29:58Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳（メタデータ） (2021-05-10T08:02:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。