論文の概要: Towards Lifelong Learning for Software Analytics Models: Empirical Study
on Brown Build and Risk Prediction
- arxiv url: http://arxiv.org/abs/2305.09824v1
- Date: Tue, 16 May 2023 21:57:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 08:21:55.754503
- Title: Towards Lifelong Learning for Software Analytics Models: Empirical Study
on Brown Build and Risk Prediction
- Title(参考訳): ソフトウェア分析モデルの生涯学習に向けて:ブラウンビルドとリスク予測に関する実証的研究
- Authors: Doriane Olewicki, Sarra Habchi, Mathieu Nayrolles, Mojtaba Faramarzi,
Sarath Chandar, Bram Adams
- Abstract要約: 我々は、生涯学習(LL)を使用して、継続的に機械学習分析ツールを構築し、維持することを提案する。
重要な古いデータポイントのいわゆる「破滅的忘れ」を避けるために、我々は古いデータのリプレイバッファを採用する。
2つの産業ユースケース、すなわち茶色のビルド検出器とJust-in-Timeリスク予測ツールに対するLLアプローチを実証的に評価した。
- 参考スコア(独自算出の注目度): 17.502553991799832
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Nowadays, software analytics tools using machine learning (ML) models to, for
example, predict the risk of a code change are well established. However, as
the goals of a project shift over time, and developers and their habits change,
the performance of said models tends to degrade (drift) over time, until a
model is retrained using new data. Current retraining practices typically are
an afterthought (and hence costly), requiring a new model to be retrained from
scratch on a large, updated data set at random points in time; also, there is
no continuity between the old and new model. In this paper, we propose to use
lifelong learning (LL) to continuously build and maintain ML-based software
analytics tools using an incremental learner that progressively updates the old
model using new data. To avoid so-called ''catastrophic forgetting'' of
important older data points, we adopt a replay buffer of older data, which
still allows us to drastically reduce the size of the overall training data
set, and hence model training time. We empirically evaluate our LL approach on
two industrial use cases, i.e., a brown build detector and a Just-in-Time risk
prediction tool, showing how LL in practice manages to at least match
traditional retraining-from-scratch performance in terms of F1-score, while
using 3.3-13.7x less data at each update, thus considerably speeding up the
model updating process. Considering both the computational effort of updates
and the time between model updates, the LL setup needs 2-40x less computational
effort than retraining-from-scratch setups.
- Abstract(参考訳): 今日では、例えばコード変更のリスクを予測する機械学習(ML)モデルを用いたソフトウェア分析ツールが十分に確立されています。
しかしながら、プロジェクトの目標が時間とともに変化し、開発者とその習慣が変わるにつれて、そのモデルのパフォーマンスは、新しいデータを使ってモデルを再トレーニングするまで、時間とともに低下する傾向があります。
現在のリトレーニングプラクティスは、一般的には後から考える(従ってコストがかかる)ことで、ランダムなポイントでセットされた大きな更新データに対して、新しいモデルをスクラッチから再トレーニングする必要があります。
本稿では,MLベースのソフトウェア分析ツールを継続的に構築し,維持するために,生涯学習(LL)を用いて,新たなデータを用いて旧モデルを段階的に更新するインクリメンタル学習装置を提案する。
重要な古いデータポイントのいわゆる「破滅的な忘れ」を避けるため、私たちは古いデータのリプレイバッファを採用しています。
我々は,2つの産業ユースケース,すなわち茶色のビルド検出器とジャストインタイムのリスク予測ツールに対して,LLのアプローチを実証的に評価し,各更新時に3.3~13.7倍の少ないデータを使用しながら,F1スコアの観点から,LLが従来のリトレーニング・トゥ・スクラッチのパフォーマンスと少なくとも一致していることを示す。
更新の計算労力とモデル更新の時間の両方を考慮すると、LLセットアップはスクラッチ設定の再トレーニングよりも2~40倍少ない計算労力を必要とする。
関連論文リスト
- An Efficient Model Maintenance Approach for MLOps [14.239954811469506]
既存の機械学習モデルメンテナンスアプローチは、しばしば計算資源集約、コスト、時間消費、モデル依存である。
我々は、MLOpsパイプラインの改善、新しいモデルメンテナンスアプローチ、およびMLモデルメンテナンスの課題に対処するためのSim sameity Based Model Reuse(SimReuse)ツールを提案する。
4つの時系列データセットに対する評価結果から,モデル再利用手法がモデルの性能を維持できることを示すとともに,メンテナンス時間とコストを大幅に削減できることを示した。
論文 参考訳(メタデータ) (2024-12-05T23:02:02Z) - Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。
本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文 参考訳(メタデータ) (2024-10-22T06:43:28Z) - Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。
LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。
フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
論文 参考訳(メタデータ) (2024-09-10T00:59:18Z) - Temporal Knowledge Distillation for Time-Sensitive Financial Services
Applications [7.1795069620810805]
異常検出は、金融犯罪検出詐欺やサイバーセキュリティなどの主要なコンプライアンスやリスク機能に頻繁に使用される。
最新のデータパターンでモデルを再トレーニングすることで、急激な変更に追いつくことは、過去のパターンと現在のパターンのバランスをとる上でのプレッシャーをもたらす。
提案手法は、モデル性能を改善しながら、再トレーニング時間に利点をもたらす。
論文 参考訳(メタデータ) (2023-12-28T03:04:30Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [65.57123249246358]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文 参考訳(メタデータ) (2023-09-13T17:55:11Z) - Mitigating ML Model Decay in Continuous Integration with Data Drift
Detection: An Empirical Study [7.394099294390271]
本研究では,CI環境におけるTCP用MLモデルのリトレーニングポイントを自動的に検出するデータドリフト検出手法の性能について検討する。
我々はHellinger距離を用いて入力データの値と分布の変化を同定し、これらの変化をMLモデルの再学習点として利用した。
Hellinger distance-based methodの実験により,再学習点の検出と関連するコストの低減に効果と効率が示された。
論文 参考訳(メタデータ) (2023-05-22T05:55:23Z) - Effective and Efficient Training for Sequential Recommendation using
Recency Sampling [91.02268704681124]
本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。
提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
論文 参考訳(メタデータ) (2022-07-06T13:06:31Z) - Passive learning to address nonstationarity in virtual flow metering
applications [0.0]
本稿では,定常仮想フローメータの予測精度を維持するために,学習手法の適用方法について検討する。
周期的バッチ学習とオンライン学習という2つの受動的学習法を、様々なキャリブレーション周波数で応用し、仮想フローメーターを訓練する。
第1に、頻繁な到着測定が存在する場合、頻繁なモデル更新は、時間とともに優れた予測性能を保ち、第2に、間欠的かつ頻繁な到着測定が存在する場合、頻繁な更新は、性能の精度を高めるために不可欠である。
論文 参考訳(メタデータ) (2022-02-07T14:42:00Z) - Lambda Learner: Fast Incremental Learning on Data Streams [5.543723668681475]
本稿では,データストリームからのミニバッチに対するインクリメンタル更新によるモデルトレーニングのための新しいフレームワークを提案する。
提案するフレームワークのモデルでは,オフラインデータに基づいてトレーニングされた周期的に更新されたモデルを推定し,モデル更新が時間に敏感な場合,性能が向上することを示す。
我々は、大規模ソーシャルネットワークのためのスポンサー付きコンテンツプラットフォームに大規模な展開を提示する。
論文 参考訳(メタデータ) (2020-10-11T04:00:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。