論文の概要: When Code Smells Meet ML: On the Lifecycle of ML-specific Code Smells in
ML-enabled Systems
- arxiv url: http://arxiv.org/abs/2403.08311v1
- Date: Wed, 13 Mar 2024 07:43:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 15:16:08.176251
- Title: When Code Smells Meet ML: On the Lifecycle of ML-specific Code Smells in
ML-enabled Systems
- Title(参考訳): Code SmellsがMLに出会った時 - ML固有のCode Smellsのライフサイクルについて
ML対応システム
- Authors: Gilberto Recupito and Giammaria Giordano and Filomena Ferrucci and
Dario Di Nucci and Fabio Palomba
- Abstract要約: 本研究の目的は、ML特有のコードの臭いとして知られる、特定の品質関連関心事の出現と進化を調査することである。
具体的には、実際のML対応システムにおいて、ML特有のコードの臭いを経験的に分析して研究する計画を提案する。
探索的研究を行い、ML対応システムの大規模なデータセットをマイニングし、約337のプロジェクトに関する400万件のコミットを分析します。
- 参考スコア(独自算出の注目度): 13.718420553401662
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Context. The adoption of Machine Learning (ML)--enabled systems is steadily
increasing. Nevertheless, there is a shortage of ML-specific quality assurance
approaches, possibly because of the limited knowledge of how quality-related
concerns emerge and evolve in ML-enabled systems. Objective. We aim to
investigate the emergence and evolution of specific types of quality-related
concerns known as ML-specific code smells, i.e., sub-optimal implementation
solutions applied on ML pipelines that may significantly decrease both the
quality and maintainability of ML-enabled systems. More specifically, we
present a plan to study ML-specific code smells by empirically analyzing (i)
their prevalence in real ML-enabled systems, (ii) how they are introduced and
removed, and (iii) their survivability. Method. We will conduct an exploratory
study, mining a large dataset of ML-enabled systems and analyzing over 400k
commits about 337 projects. We will track and inspect the introduction and
evolution of ML smells through CodeSmile, a novel ML smell detector that we
will build to enable our investigation and to detect ML-specific code smells.
- Abstract(参考訳): コンテキスト。
機械学習(ML)対応システムの採用は着実に増加している。
それでも、ML固有の品質保証アプローチが不足しているのは、おそらく、ML対応システムで品質関連の懸念が出現し、どのように進化するかについての知識が限られているためである。
目的。
ML対応システムの品質と保守性の両方を著しく低下させるようなMLパイプラインに適用された準最適実装ソリューションとして、ML固有のコード臭として知られる特定の品質関連関心事の出現と進化について検討することを目的としている。
より具体的には、経験的分析によりML固有のコードの臭いを研究する計画を提案する。
(i)実際のML対応システムにおけるそれらの普及状況
(二)導入・撤去の仕方及び
(三)生存可能性
方法。
探索的研究を行い、ML対応システムの大規模なデータセットをマイニングし、約337のプロジェクトに関する400万件のコミットを分析します。
CodeSmileは、ML特有の臭いを検知し、調査を可能にするための新しいML臭い検知装置です。
関連論文リスト
- ML-On-Rails: Safeguarding Machine Learning Models in Software Systems A
Case Study [4.087995998278127]
機械学習モデルを保護するためのプロトコルであるML-On-Railsを紹介する。
ML-On-Railsは、さまざまなMLタスクのための明確に定義されたエンドポイントインターフェースを確立し、MLプロバイダとMLコンシューマ間のコミュニケーションを明確にする。
実世界のMoveReminderアプリケーションのケーススタディを通じてプロトコルを評価する。
論文 参考訳(メタデータ) (2024-01-12T11:27:15Z) - SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。
SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。
我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
論文 参考訳(メタデータ) (2023-11-28T05:53:55Z) - ML-Bench: Large Language Models Leverage Open-source Libraries for
Machine Learning Tasks [75.12666425091702]
大規模な言語モデルは、コード生成ベンチマークで有望なパフォーマンスを示している。
この研究は、LLMがオープンソースのライブラリを使用して機械学習タスクを終了する、新たな評価設定を提案することを目的としている。
論文 参考訳(メタデータ) (2023-11-16T12:03:21Z) - Q-Bench: A Benchmark for General-Purpose Foundation Models on Low-level
Vision [85.6008224440157]
MLLM(Multi-modality Large Language Models)は、コンピュータビジョンの特殊モデルから汎用基礎モデルへのシフトを触媒している。
Q-Benchは3つの領域(低レベル視覚知覚、低レベル視覚記述、全体視品質評価)でMLLMの潜在能力を評価するための総合的なベンチマークである。
論文 参考訳(メタデータ) (2023-09-25T14:43:43Z) - Bug Characterization in Machine Learning-based Systems [15.521925194920893]
本稿では,機械学習ベースのソフトウェアシステムにおけるバグの特徴と,メンテナンスの観点からMLと非MLのバグの違いについて検討する。
我々の分析によると、MLベースのシステムで報告されている実際の問題の半分はMLバグであり、MLコンポーネントが非MLコンポーネントよりもエラーを起こしやすいことを示している。
論文 参考訳(メタデータ) (2023-07-26T21:21:02Z) - Understanding the Complexity and Its Impact on Testing in ML-Enabled
Systems [8.630445165405606]
世界中の企業で広く採用されている産業対話システムであるRasa 3.0について検討する。
私たちのゴールは、このような大規模なML対応システムの複雑さを特徴づけ、テストにおける複雑さの影響を理解することです。
本研究は,ML対応システムにおけるソフトウェア工学の実践的意義を明らかにする。
論文 参考訳(メタデータ) (2023-01-10T08:13:24Z) - Comparative analysis of real bugs in open-source Machine Learning
projects -- A Registered Report [5.275804627373337]
機械学習と非機械学習の課題の解決時間分布に差があるかどうかを検討する。
制御されたサンプル上で,MLおよび非ML問題の修正の解像度時間とサイズを測定し,各カテゴリの分布を比較した。
論文 参考訳(メタデータ) (2022-09-20T18:12:12Z) - Adaptive neighborhood Metric learning [184.95321334661898]
適応的近傍距離距離学習(ANML)という新しい距離距離距離距離距離距離学習アルゴリズムを提案する。
ANMLは線形埋め込みと深層埋め込みの両方を学ぶのに使うことができる。
本手法で提案するemphlog-exp平均関数は,深層学習手法をレビューするための新たな視点を与える。
論文 参考訳(メタデータ) (2022-01-20T17:26:37Z) - Quantum Approximate Optimization Algorithm Based Maximum Likelihood
Detection [80.28858481461418]
量子技術の最近の進歩は、ノイズの多い中間スケール量子(NISQ)デバイスへの道を開く。
量子技術の最近の進歩は、ノイズの多い中間スケール量子(NISQ)デバイスへの道を開く。
論文 参考訳(メタデータ) (2021-07-11T10:56:24Z) - Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。
一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。
我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
論文 参考訳(メタデータ) (2021-06-09T05:56:42Z) - A Rigorous Machine Learning Analysis Pipeline for Biomedical Binary
Classification: Application in Pancreatic Cancer Nested Case-control Studies
with Implications for Bias Assessments [2.9726886415710276]
バイナリ分類にフォーカスした、厳格で厳格なML分析パイプラインをレイアウトし、組み立てました。
この'自動'だがカスタマイズ可能なパイプラインは、a)探索分析、b)データのクリーニングと変換、c)特徴選択、d)9つの確立されたMLアルゴリズムによるモデルトレーニングを含む。
本パイプラインは,癌に対する確立された,新たに同定されたリスクファクターの疫学的検討に適用し,MLアルゴリズムによって異なるバイアス源がどのように扱われるかを評価する。
論文 参考訳(メタデータ) (2020-08-28T19:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。