論文の概要: How do Machine Learning Projects use Continuous Integration Practices? An Empirical Study on GitHub Actions
- arxiv url: http://arxiv.org/abs/2403.09547v1
- Date: Thu, 14 Mar 2024 16:35:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 19:38:09.246485
- Title: How do Machine Learning Projects use Continuous Integration Practices? An Empirical Study on GitHub Actions
- Title(参考訳): マシンラーニングプロジェクトは継続的インテグレーションの実践をどのように利用するのか? GitHub Actionsに関する実証的研究
- Authors: João Helis Bernardo, Daniel Alencar da Costa, Sérgio Queiroz de Medeiros, Uirá Kulesza,
- Abstract要約: GitHub上の185のオープンソースプロジェクト(93のMLと92の非MLプロジェクト)の包括的な分析を行います。
本研究は,MLプロジェクトと非MLプロジェクト間のCI導入の差異を明らかにすることを目的として,定量化と定性的化の両面から構成する。
その結果,MLプロジェクトではビルド期間が長い場合が多く,中規模のMLプロジェクトでは非MLプロジェクトに比べてテストカバレッジが低いことがわかった。
- 参考スコア(独自算出の注目度): 1.5197353881052764
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Continuous Integration (CI) is a well-established practice in traditional software development, but its nuances in the domain of Machine Learning (ML) projects remain relatively unexplored. Given the distinctive nature of ML development, understanding how CI practices are adopted in this context is crucial for tailoring effective approaches. In this study, we conduct a comprehensive analysis of 185 open-source projects on GitHub (93 ML and 92 non-ML projects). Our investigation comprises both quantitative and qualitative dimensions, aiming to uncover differences in CI adoption between ML and non-ML projects. Our findings indicate that ML projects often require longer build durations, and medium-sized ML projects exhibit lower test coverage compared to non-ML projects. Moreover, small and medium-sized ML projects show a higher prevalence of increasing build duration trends compared to their non-ML counterparts. Additionally, our qualitative analysis illuminates the discussions around CI in both ML and non-ML projects, encompassing themes like CI Build Execution and Status, CI Testing, and CI Infrastructure. These insights shed light on the unique challenges faced by ML projects in adopting CI practices effectively.
- Abstract(参考訳): 継続的インテグレーション(CI)は、従来のソフトウェア開発において確立されたプラクティスだが、機械学習(ML)プロジェクトの分野におけるニュアンスは、いまだに解明されていない。
ML開発の独特な性質を考えると、この文脈でCIプラクティスがどのように採用されているかを理解することは、効果的なアプローチの調整に不可欠です。
本研究では,GitHub上の185のオープンソースプロジェクト(93のMLプロジェクトと92の非MLプロジェクト)を包括的に分析する。
本研究は,MLプロジェクトと非MLプロジェクト間のCI導入の差異を明らかにすることを目的として,定量化と定性的化の両面から構成する。
その結果,MLプロジェクトではビルド期間が長い場合が多く,中規模のMLプロジェクトでは非MLプロジェクトに比べてテストカバレッジが低いことがわかった。
さらに、中小規模のMLプロジェクトは、非MLプロジェクトに比べてビルド期間の傾向が増加する傾向にある。
さらに、定性的な分析は、CIビルドの実行とステータス、CIテスト、CIインフラストラクチャといったテーマを含む、MLプロジェクトと非MLプロジェクトのCIに関する議論を照らします。
これらの洞察は、CIプラクティスを効果的に採用する上で、MLプロジェクトが直面するユニークな課題を浮き彫りにした。
関連論文リスト
- Supervised Knowledge Makes Large Language Models Better In-context
Learners [97.71733265438044]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - T-Eval: Evaluating the Tool Utilization Capability of Large Language
Models Step by Step [69.64348626180623]
大規模言語モデル (LLM) は様々なNLPタスクにおいて顕著な性能を達成した。
LLMのツール活用能力の評価と分析方法はまだ未検討である。
ツール利用能力を段階的に評価するためにT-Evalを導入する。
論文 参考訳(メタデータ) (2023-12-21T17:02:06Z) - An Empirical Study of Self-Admitted Technical Debt in Machine Learning
Software [19.663173802238063]
自己承認型技術的負債(SATD)は、機械学習ベースのソフトウェアの品質に大きな影響を与える可能性がある。
本稿では,5つのドメインにわたる318のオープンソースMLプロジェクトと318の非MLプロジェクトを分析し,SATDをMLコードで解析することを目的とする。
論文 参考訳(メタデータ) (2023-11-20T18:56:36Z) - LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。
テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。
研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文 参考訳(メタデータ) (2023-11-13T15:08:59Z) - Fairness of ChatGPT and the Role Of Explainable-Guided Prompts [6.079011829257036]
本研究では,大規模言語モデル(LLM),特に OpenAI の GPT の信用リスク評価における可能性について検討する。
この結果から,LLMは従来の機械学習(ML)モデルの性能を並列化できる可能性が示唆された。
論文 参考訳(メタデータ) (2023-07-14T09:20:16Z) - MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language
Models [75.85429963948769]
最初の総合的MLLM評価ベンチマークMMEを示す。
知覚能力と認知能力の両方を合計14のサブタスクで測定する。
総計30個のMLLMをMMEで総合的に評価した。
論文 参考訳(メタデータ) (2023-06-23T09:22:36Z) - CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning
of Large Language Models [78.65241926912663]
大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。
我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。
我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
論文 参考訳(メタデータ) (2023-05-23T17:51:52Z) - MLCopilot: Unleashing the Power of Large Language Models in Solving
Machine Learning Tasks [31.733088105662876]
我々は、新しいフレームワークを導入することで、機械学習と人間の知識のギャップを埋めることを目指している。
本稿では、構造化された入力を理解するためのLLMの能力を拡張し、新しいMLタスクを解くための徹底的な推論を行う可能性を示す。
論文 参考訳(メタデータ) (2023-04-28T17:03:57Z) - Reasonable Scale Machine Learning with Open-Source Metaflow [2.637746074346334]
既存のツールを再購入しても、現在の生産性の問題は解決しない、と私たちは主張します。
私たちは、データ実践者の生産性を高めるために明示的に設計された、MLプロジェクトのためのオープンソースのフレームワークであるMetaflowを紹介します。
論文 参考訳(メタデータ) (2023-03-21T11:28:09Z) - "Project smells" -- Experiences in Analysing the Software Quality of ML
Projects with mllint [6.0141405230309335]
ソフトウェアの品質に関するより包括的な視点として,プロジェクトマネジメントにおける欠陥を考慮に入れた,プロジェクト臭いという新しい概念を紹介します。
オープンソースの静的解析ツールmllintも、これらの検出と緩和を支援するために実装されている。
この結果から,現在開発中のプロジェクトのニーズに適合する文脈対応静的解析ツールの必要性が示唆された。
論文 参考訳(メタデータ) (2022-01-20T15:52:24Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳(メタデータ) (2021-03-02T22:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。