論文の概要: "Project smells" -- Experiences in Analysing the Software Quality of ML Projects with mllint

• arxiv url: http://arxiv.org/abs/2201.08246v1
• Date: Thu, 20 Jan 2022 15:52:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-21 17:40:19.448445
• Title: "Project smells" -- Experiences in Analysing the Software Quality of ML Projects with mllint
• Title（参考訳）: プロジェクトの臭い" - mllintを使ったMLプロジェクトのソフトウェア品質分析の経験
• Authors: Bart van Oort, Lu\'is Cruz, Babak Loni, Arie van Deursen
• Abstract要約: ソフトウェアの品質に関するより包括的な視点として,プロジェクトマネジメントにおける欠陥を考慮に入れた,プロジェクト臭いという新しい概念を紹介します。 オープンソースの静的解析ツールmllintも、これらの検出と緩和を支援するために実装されている。 この結果から,現在開発中のプロジェクトのニーズに適合する文脈対応静的解析ツールの必要性が示唆された。
• 参考スコア（独自算出の注目度）: 6.0141405230309335
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Machine Learning (ML) projects incur novel challenges in their development and productionisation over traditional software applications, though established principles and best practices in ensuring the project's software quality still apply. While using static analysis to catch code smells has been shown to improve software quality attributes, it is only a small piece of the software quality puzzle, especially in the case of ML projects given their additional challenges and lower degree of Software Engineering (SE) experience in the data scientists that develop them. We introduce the novel concept of project smells which consider deficits in project management as a more holistic perspective on software quality in ML projects. An open-source static analysis tool mllint was also implemented to help detect and mitigate these. Our research evaluates this novel concept of project smells in the industrial context of ING, a global bank and large software- and data-intensive organisation. We also investigate the perceived importance of these project smells for proof-of-concept versus production-ready ML projects, as well as the perceived obstructions and benefits to using static analysis tools such as mllint. Our findings indicate a need for context-aware static analysis tools, that fit the needs of the project at its current stage of development, while requiring minimal configuration effort from the user.
• Abstract（参考訳）: 機械学習(ML)プロジェクトは、従来のソフトウェアアプリケーションよりも開発と生産において、新たな課題を生んでいるが、プロジェクトのソフトウェア品質がまだ適用されていることを保証するための原則とベストプラクティスが確立されている。 コードの臭いをキャッチするために静的解析を使用することは、ソフトウェア品質の属性を改善することが示されているが、特にmlプロジェクトでは、開発するデータサイエンティストにおけるソフトウェアエンジニアリング(se)経験の低さという課題があるため、ソフトウェア品質のパズルのほんの一部に過ぎない。 我々は,mlプロジェクトにおけるソフトウェア品質に関するより全体論的視点として,プロジェクト管理の欠陥を考えるプロジェクト臭いの新しい概念を紹介する。 オープンソースの静的解析ツールmllintも,これらの検出と緩和のために実装されている。 本研究は,グローバル銀行と大規模ソフトウェア・データ集約型組織であるingの産業的文脈において,プロジェクトの臭いという新たな概念を評価する。 また,概念実証と本番対応mlプロジェクトにおけるこれらのプロジェクトの臭いの重要性や,mllintのような静的解析ツールの使用に対する障害やメリットについても検討した。 この結果から,ユーザによる最小限の設定作業を必要とせず,開発段階におけるプロジェクトのニーズに適合する,コンテキスト対応の静的解析ツールの必要性が示唆された。

関連論文リスト

• Agent-Driven Automatic Software Improvement [55.2480439325792]
  本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。 継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。 我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
  論文  参考訳（メタデータ） (2024-06-24T15:45:22Z)
• How do Machine Learning Projects use Continuous Integration Practices? An Empirical Study on GitHub Actions [1.5197353881052764]
  GitHub上の185のオープンソースプロジェクト(93のMLと92の非MLプロジェクト)の包括的な分析を行います。 本研究は,MLプロジェクトと非MLプロジェクト間のCI導入の差異を明らかにすることを目的として,定量化と定性的化の両面から構成する。 その結果,MLプロジェクトではビルド期間が長い場合が多く,中規模のMLプロジェクトでは非MLプロジェクトに比べてテストカバレッジが低いことがわかった。
  論文  参考訳（メタデータ） (2024-03-14T16:35:39Z)
• DevBench: A Comprehensive Benchmark for Software Development [72.24266814625685]
  DevBenchは、ソフトウェア開発ライフサイクルのさまざまな段階にわたる大規模言語モデル(LLM)を評価するベンチマークである。 GPT-4-Turboを含む現在のLLMは、DevBench内での課題の解決に失敗している。 本研究は,LLMを現実のプログラミングアプリケーションに展開する上で,現実的な知見を提供するものである。
  論文  参考訳（メタデータ） (2024-03-13T15:13:44Z)
• Quantum Computing Enhanced Service Ecosystem for Simulation in Manufacturing [56.61654656648898]
  本稿では,製造シミュレーションのための量子コンピューティングによるサービスエコシステムの枠組みを提案する。 我々は,これらの新しい計算パラダイムを定量的に評価することを目的とした2つの高価値ユースケースを分析した。
  論文  参考訳（メタデータ） (2024-01-19T11:04:14Z)
• Code Ownership in Open-Source AI Software Security [18.779538756226298]
  コードオーナシップのメトリクスを使用して、5つの著名なオープンソースAIソフトウェアプロジェクトにおける潜在的な脆弱性との相関を調査します。 この結果は、ハイレベルなオーナシップ(マイナーなコントリビュータの数が限られている)と脆弱性の減少との間に肯定的な関係があることを示唆している。 これらの新しいコードオーナシップメトリクスによって、プロジェクトキュレーターや品質保証の専門家が現場プロジェクトを評価し、ベンチマークするのを助けるために、Pythonベースのコマンドラインアプリケーションを実装しました。
  論文  参考訳（メタデータ） (2023-12-18T00:37:29Z)
• An Empirical Study of Self-Admitted Technical Debt in Machine Learning Software [17.999512016809945]
  自己承認型技術的負債(SATD)は、機械学習ベースのソフトウェアの品質に大きな影響を与える可能性がある。 本稿では,5つのドメインにわたる318のオープンソースMLプロジェクトと318の非MLプロジェクトを分析し,SATDをMLコードで解析することを目的とする。
  論文  参考訳（メタデータ） (2023-11-20T18:56:36Z)
• Using Machine Learning To Identify Software Weaknesses From Software Requirement Specifications [49.1574468325115]
  本研究は、要求仕様からソフトウェア弱点を特定するための効率的な機械学習アルゴリズムを見つけることに焦点を当てる。 ProMISE_exp. Naive Bayes、サポートベクターマシン(SVM)、決定木、ニューラルネットワーク、畳み込みニューラルネットワーク(CNN)アルゴリズムをテストした。
  論文  参考訳（メタデータ） (2023-08-10T13:19:10Z)
• Reasonable Scale Machine Learning with Open-Source Metaflow [2.637746074346334]
  既存のツールを再購入しても、現在の生産性の問題は解決しない、と私たちは主張します。 私たちは、データ実践者の生産性を高めるために明示的に設計された、MLプロジェクトのためのオープンソースのフレームワークであるMetaflowを紹介します。
  論文  参考訳（メタデータ） (2023-03-21T11:28:09Z)
• Exploring the potential of flow-based programming for machine learning deployment in comparison with service-oriented architectures [8.677012233188968]
  理由のひとつは、データ収集と分析に関するアクティビティのために設計されていないインフラストラクチャである、と私たちは論じています。 本稿では,データストリームを用いたフローベースのプログラミングを,ソフトウェアアプリケーション構築に広く使用されるサービス指向アーキテクチャの代替として検討する。
  論文  参考訳（メタデータ） (2021-08-09T15:06:02Z)
• Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
  機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。 私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。 当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
  論文  参考訳（メタデータ） (2021-01-11T15:54:48Z)
• Technology Readiness Levels for AI & ML [79.22051549519989]
  機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。 エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。 我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-21T17:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。