論文の概要: When Code Smells Meet ML: On the Lifecycle of ML-specific Code Smells in
ML-enabled Systems
- arxiv url: http://arxiv.org/abs/2403.08311v1
- Date: Wed, 13 Mar 2024 07:43:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 15:16:08.176251
- Title: When Code Smells Meet ML: On the Lifecycle of ML-specific Code Smells in
ML-enabled Systems
- Title(参考訳): Code SmellsがMLに出会った時 - ML固有のCode Smellsのライフサイクルについて
ML対応システム
- Authors: Gilberto Recupito and Giammaria Giordano and Filomena Ferrucci and
Dario Di Nucci and Fabio Palomba
- Abstract要約: 本研究の目的は、ML特有のコードの臭いとして知られる、特定の品質関連関心事の出現と進化を調査することである。
具体的には、実際のML対応システムにおいて、ML特有のコードの臭いを経験的に分析して研究する計画を提案する。
探索的研究を行い、ML対応システムの大規模なデータセットをマイニングし、約337のプロジェクトに関する400万件のコミットを分析します。
- 参考スコア(独自算出の注目度): 13.718420553401662
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Context. The adoption of Machine Learning (ML)--enabled systems is steadily
increasing. Nevertheless, there is a shortage of ML-specific quality assurance
approaches, possibly because of the limited knowledge of how quality-related
concerns emerge and evolve in ML-enabled systems. Objective. We aim to
investigate the emergence and evolution of specific types of quality-related
concerns known as ML-specific code smells, i.e., sub-optimal implementation
solutions applied on ML pipelines that may significantly decrease both the
quality and maintainability of ML-enabled systems. More specifically, we
present a plan to study ML-specific code smells by empirically analyzing (i)
their prevalence in real ML-enabled systems, (ii) how they are introduced and
removed, and (iii) their survivability. Method. We will conduct an exploratory
study, mining a large dataset of ML-enabled systems and analyzing over 400k
commits about 337 projects. We will track and inspect the introduction and
evolution of ML smells through CodeSmile, a novel ML smell detector that we
will build to enable our investigation and to detect ML-specific code smells.
- Abstract(参考訳): コンテキスト。
機械学習(ML)対応システムの採用は着実に増加している。
それでも、ML固有の品質保証アプローチが不足しているのは、おそらく、ML対応システムで品質関連の懸念が出現し、どのように進化するかについての知識が限られているためである。
目的。
ML対応システムの品質と保守性の両方を著しく低下させるようなMLパイプラインに適用された準最適実装ソリューションとして、ML固有のコード臭として知られる特定の品質関連関心事の出現と進化について検討することを目的としている。
より具体的には、経験的分析によりML固有のコードの臭いを研究する計画を提案する。
(i)実際のML対応システムにおけるそれらの普及状況
(二)導入・撤去の仕方及び
(三)生存可能性
方法。
探索的研究を行い、ML対応システムの大規模なデータセットをマイニングし、約337のプロジェクトに関する400万件のコミットを分析します。
CodeSmileは、ML特有の臭いを検知し、調査を可能にするための新しいML臭い検知装置です。
関連論文リスト
- LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [70.19607283302712]
本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。
具体的には,l-MLLMとs-MLLMの視覚的テキスト出力分布のばらつきを最小限に抑えるために,MDist(Multimodal Distillation)を導入する。
また,S-MLLMの可能性を完全に活用するための3段階学習手法を提案する。
論文 参考訳(メタデータ) (2024-10-21T17:41:28Z) - $\textit{X}^2$-DFD: A framework for e${X}$plainable and e${X}$tendable Deepfake Detection [52.14468236527728]
3つのコアモジュールからなる新しいフレームワークX2$-DFDを提案する。
最初のモジュールであるモデル特徴評価(MFA)は、MLLMに固有の偽機能の検出能力を計測し、これらの機能の下位ランキングを提供する。
第2のモジュールであるStrong Feature Strengthening (SFS)は、上位機能に基づいて構築されたデータセット上でMLLMを微調整することで、検出と説明機能を強化する。
第3のモジュールであるWak Feature Supplementing (WFS)は、外部専用の機能を統合することで、低階機能における微調整MLLMの機能を改善する。
論文 参考訳(メタデータ) (2024-10-08T15:28:33Z) - A Large-Scale Study of Model Integration in ML-Enabled Software Systems [4.776073133338119]
機械学習(ML)とそのシステムへの組み込みは、ソフトウェア集約システムのエンジニアリングを大きく変えた。
伝統的に、ソフトウェアエンジニアリングは、ソースコードやそれらを作成するプロセスなど、手作業で作成したアーティファクトに焦点を当てている。
我々は、GitHub上で2,928以上のオープンソースシステムをカバーする、実際のML対応ソフトウェアシステムに関する最初の大規模な研究を提示する。
論文 参考訳(メタデータ) (2024-08-12T15:28:40Z) - Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
言語化機械学習(VML)の枠組みを紹介する。
VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。
我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
論文 参考訳(メタデータ) (2024-06-06T17:59:56Z) - ML-On-Rails: Safeguarding Machine Learning Models in Software Systems A
Case Study [4.087995998278127]
機械学習モデルを保護するためのプロトコルであるML-On-Railsを紹介する。
ML-On-Railsは、さまざまなMLタスクのための明確に定義されたエンドポイントインターフェースを確立し、MLプロバイダとMLコンシューマ間のコミュニケーションを明確にする。
実世界のMoveReminderアプリケーションのケーススタディを通じてプロトコルを評価する。
論文 参考訳(メタデータ) (2024-01-12T11:27:15Z) - SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。
SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。
我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
論文 参考訳(メタデータ) (2023-11-28T05:53:55Z) - Vulnerability of Machine Learning Approaches Applied in IoT-based Smart Grid: A Review [51.31851488650698]
機械学習(ML)は、IoT(Internet-of-Things)ベースのスマートグリッドでの使用頻度が高まっている。
電力信号に注入された逆方向の歪みは システムの正常な制御と操作に大きな影響を及ぼす
安全クリティカルパワーシステムに適用されたMLsgAPPの脆弱性評価を行うことが不可欠である。
論文 参考訳(メタデータ) (2023-08-30T03:29:26Z) - Bug Characterization in Machine Learning-based Systems [15.521925194920893]
本稿では,機械学習ベースのソフトウェアシステムにおけるバグの特徴と,メンテナンスの観点からMLと非MLのバグの違いについて検討する。
我々の分析によると、MLベースのシステムで報告されている実際の問題の半分はMLバグであり、MLコンポーネントが非MLコンポーネントよりもエラーを起こしやすいことを示している。
論文 参考訳(メタデータ) (2023-07-26T21:21:02Z) - Understanding the Complexity and Its Impact on Testing in ML-Enabled
Systems [8.630445165405606]
世界中の企業で広く採用されている産業対話システムであるRasa 3.0について検討する。
私たちのゴールは、このような大規模なML対応システムの複雑さを特徴づけ、テストにおける複雑さの影響を理解することです。
本研究は,ML対応システムにおけるソフトウェア工学の実践的意義を明らかにする。
論文 参考訳(メタデータ) (2023-01-10T08:13:24Z) - Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。
一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。
我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
論文 参考訳(メタデータ) (2021-06-09T05:56:42Z) - A Rigorous Machine Learning Analysis Pipeline for Biomedical Binary
Classification: Application in Pancreatic Cancer Nested Case-control Studies
with Implications for Bias Assessments [2.9726886415710276]
バイナリ分類にフォーカスした、厳格で厳格なML分析パイプラインをレイアウトし、組み立てました。
この'自動'だがカスタマイズ可能なパイプラインは、a)探索分析、b)データのクリーニングと変換、c)特徴選択、d)9つの確立されたMLアルゴリズムによるモデルトレーニングを含む。
本パイプラインは,癌に対する確立された,新たに同定されたリスクファクターの疫学的検討に適用し,MLアルゴリズムによって異なるバイアス源がどのように扱われるかを評価する。
論文 参考訳(メタデータ) (2020-08-28T19:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。