論文の概要: An Empirical Study of Self-Admitted Technical Debt in Machine Learning Software

• arxiv url: http://arxiv.org/abs/2311.12019v1
• Date: Mon, 20 Nov 2023 18:56:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 17:26:56.030885
• Title: An Empirical Study of Self-Admitted Technical Debt in Machine Learning Software
• Title（参考訳）: 機械学習ソフトウェアにおける自己申告技術的負債の実証的研究
• Authors: Aaditya Bhatia, Foutse Khomh, Bram Adams, Ahmed E Hassan
• Abstract要約: 自己承認型技術的負債(SATD)は、機械学習ベースのソフトウェアの品質に大きな影響を与える可能性がある。 本稿では,5つのドメインにわたる318のオープンソースMLプロジェクトと318の非MLプロジェクトを分析し,SATDをMLコードで解析することを目的とする。
• 参考スコア（独自算出の注目度）: 19.663173802238063
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The emergence of open-source ML libraries such as TensorFlow and Google Auto ML has enabled developers to harness state-of-the-art ML algorithms with minimal overhead. However, during this accelerated ML development process, said developers may often make sub-optimal design and implementation decisions, leading to the introduction of technical debt that, if not addressed promptly, can have a significant impact on the quality of the ML-based software. Developers frequently acknowledge these sub-optimal design and development choices through code comments during software development. These comments, which often highlight areas requiring additional work or refinement in the future, are known as self-admitted technical debt (SATD). This paper aims to investigate SATD in ML code by analyzing 318 open-source ML projects across five domains, along with 318 non-ML projects. We detected SATD in source code comments throughout the different project snapshots, conducted a manual analysis of the identified SATD sample to comprehend the nature of technical debt in the ML code, and performed a survival analysis of the SATD to understand the evolution of such debts. We observed: i) Machine learning projects have a median percentage of SATD that is twice the median percentage of SATD in non-machine learning projects. ii) ML pipeline components for data preprocessing and model generation logic are more susceptible to debt than model validation and deployment components. iii) SATDs appear in ML projects earlier in the development process compared to non-ML projects. iv) Long-lasting SATDs are typically introduced during extensive code changes that span multiple files exhibiting low complexity.
• Abstract（参考訳）: TensorFlowやGoogle Auto MLといったオープンソースのMLライブラリの出現により、開発者は最小限のオーバーヘッドで最先端のMLアルゴリズムを活用できるようになった。 しかし、この加速されたML開発プロセスの間、開発者はしばしば準最適設計と実装の決定を行うため、技術的負債がすぐに解決されないと、MLベースのソフトウェアの品質に重大な影響を与える可能性がある。 開発者は、ソフトウェア開発中にコードコメントを通じて、これらのサブ最適設計と開発の選択をよく認める。 これらのコメントは、将来追加の作業や改善を必要とする領域をしばしば強調しており、satd(self-admitted technical debt)として知られている。 本稿では,5つのドメインにわたる318のオープンソースMLプロジェクトと318の非MLプロジェクトを分析し,SATDをMLコードで解析することを目的とする。 我々は,各プロジェクトスナップショットのソースコードコメント中のSATDを検出し,識別されたSATDサンプルを手動で解析して,MLコードの技術的負債の性質を理解するとともに,SATDの生存分析を行い,それらの負債の進化を理解する。 観察した。 i) 機械学習のプロジェクトはsatdの中央値であり、非機械学習プロジェクトのsatの中央値の2倍である。 i) データ前処理とモデル生成ロジックのためのMLパイプラインコンポーネントは、モデル検証やデプロイメントコンポーネントよりも負債の影響を受けやすい。 三 SATDは、開発プロセスにおいて、非MLプロジェクトと比較して早期にMLプロジェクトに登場する。 iv) 長いsatは通常、複雑さの低い複数のファイルにまたがる広範なコード変更時に導入される。

関連論文リスト

• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化(英: Uncertainty Quantification、UQ)は、機械学習(ML)アプリケーションにおいて重要なコンポーネントである。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、9つのタスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も有望なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• How do Machine Learning Projects use Continuous Integration Practices? An Empirical Study on GitHub Actions [1.5197353881052764]
  GitHub上の185のオープンソースプロジェクト(93のMLと92の非MLプロジェクト)の包括的な分析を行います。 本研究は,MLプロジェクトと非MLプロジェクト間のCI導入の差異を明らかにすることを目的として,定量化と定性的化の両面から構成する。 その結果,MLプロジェクトではビルド期間が長い場合が多く,中規模のMLプロジェクトでは非MLプロジェクトに比べてテストカバレッジが低いことがわかった。
  論文  参考訳（メタデータ） (2024-03-14T16:35:39Z)
• Investigating the Impact of SOLID Design Principles on Machine Learning Code Understanding [2.5788518098820337]
  我々は,SOLID設計原則が機械学習コード理解に与える影響を検討した。 SOLIDの原則を使わなかった実際の産業用MLコードを再構築した。 その結果、SOLID設計原則の採用がコード理解を改善するという統計的に重要な証拠が得られた。
  論文  参考訳（メタデータ） (2024-02-08T00:44:45Z)
• Self-Admitted Technical Debt Detection Approaches: A Decade Systematic Review [5.670597842524448]
  技術的負債 (Technical debt, TD) とは、ソフトウェア開発において、最適な設計やコード決定に関連する長期的なコストを表す用語である。 開発者がこれらのトレードオフを明確に認めると、SATD(Self-Admitted Technical Debt)が発生する。 SATDの自動検出は、ますます重要な研究領域となっている。
  論文  参考訳（メタデータ） (2023-12-19T12:01:13Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• "Project smells" -- Experiences in Analysing the Software Quality of ML Projects with mllint [6.0141405230309335]
  ソフトウェアの品質に関するより包括的な視点として,プロジェクトマネジメントにおける欠陥を考慮に入れた,プロジェクト臭いという新しい概念を紹介します。 オープンソースの静的解析ツールmllintも、これらの検出と緩和を支援するために実装されている。 この結果から,現在開発中のプロジェクトのニーズに適合する文脈対応静的解析ツールの必要性が示唆された。
  論文  参考訳（メタデータ） (2022-01-20T15:52:24Z)
• Characterizing and Detecting Mismatch in Machine-Learning-Enabled Systems [1.4695979686066065]
  機械学習システムの開発と展開は依然として課題だ。 本論文では,エンドツーエンドのML対応システム開発における知見とその意義について報告する。
  論文  参考訳（メタデータ） (2021-03-25T19:40:29Z)
• Understanding the Usability Challenges of Machine Learning In High-Stakes Decision Making [67.72855777115772]
  機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。 多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。 児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
  論文  参考訳（メタデータ） (2021-03-02T22:50:45Z)
• Technology Readiness Levels for AI & ML [79.22051549519989]
  機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。 エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。 我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-21T17:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。