論文の概要: Maturity Framework for Enhancing Machine Learning Quality

• arxiv url: http://arxiv.org/abs/2502.15758v1
• Date: Wed, 12 Feb 2025 14:56:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 02:51:41.896473
• Title: Maturity Framework for Enhancing Machine Learning Quality
• Title（参考訳）: 機械学習品質向上のための成熟度フレームワーク
• Authors: Angelantonio Castelli, Georgios Christos Chouliaras, Dmitri Goldenberg,
• Abstract要約: 本稿では,機械学習システムの品質評価への方法論的アプローチを提案し,MLのガバナンスのための構造化成熟度フレームワークを提案する。 MLにおける品質の重要性と、MLガバナンスの問題と既存のフレームワークのギャップによって引き起こされる厳格な評価の必要性を強調します。 この研究は、実証的な結果を示し、品質改善の傾向を強調し、ビジネス成果を示す。
• 参考スコア（独自算出の注目度）: 4.840252889901222
• License:
• Abstract: With the rapid integration of Machine Learning (ML) in business applications and processes, it is crucial to ensure the quality, reliability and reproducibility of such systems. We suggest a methodical approach towards ML system quality assessment and introduce a structured Maturity framework for governance of ML. We emphasize the importance of quality in ML and the need for rigorous assessment, driven by issues in ML governance and gaps in existing frameworks. Our primary contribution is a comprehensive open-sourced quality assessment method, validated with empirical evidence, accompanied by a systematic maturity framework tailored to ML systems. Drawing from applied experience at Booking.com, we discuss challenges and lessons learned during large-scale adoption within organizations. The study presents empirical findings, highlighting quality improvement trends and showcasing business outcomes. The maturity framework for ML systems, aims to become a valuable resource to reshape industry standards and enable a structural approach to improve ML maturity in any organization.
• Abstract（参考訳）: ビジネスアプリケーションやプロセスにおける機械学習(ML)の迅速な統合により、そのようなシステムの品質、信頼性、再現性を保証することが不可欠である。 本稿では,MLシステム品質評価への方法論的アプローチを提案し,MLのガバナンスのための構造化成熟度フレームワークを提案する。 MLにおける品質の重要性と、MLガバナンスの問題と既存のフレームワークのギャップによって引き起こされる厳格な評価の必要性を強調します。 我々の主な貢献は、MLシステムに適した体系的な成熟度フレームワークを伴い、実証的な証拠で検証された包括的なオープンソース品質評価手法である。 Booking.comの応用経験から、組織内での大規模導入で得られた課題と教訓について議論する。 この研究は、実証的な結果を示し、品質改善の傾向を強調し、ビジネス成果を示す。 MLシステムの成熟度フレームワークは、業界標準を再形成し、あらゆる組織におけるML成熟度を改善するための構造的アプローチを実現するための貴重なリソースになることを目指している。

関連論文リスト

• Enhancing Machine Learning Performance through Intelligent Data Quality Assessment: An Unsupervised Data-centric Framework [0.0]
  不適切なデータ品質は機械学習(ML)の有利なパワーを制限する 本稿では,高品質なデータを特定し,MLシステムの性能を向上させるインテリジェントなデータ中心評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-18T18:01:36Z)
• Addressing Quality Challenges in Deep Learning: The Role of MLOps and Domain Knowledge [5.190998244098203]
  ディープラーニング(DL)システムは、特に正確性やリソース効率といった品質特性に関して、ソフトウェア工学においてユニークな課題を提示します。 本稿では,透過的で再現可能な実験環境を構築する上で,MLOpsの実践が果たす役割について述べる。 本稿では,DLモデルの設計にドメイン知識を組み込むことによる品質問題に対処する経験について報告する。
  論文  参考訳（メタデータ） (2025-01-14T19:37:08Z)
• Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
  本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。 本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。 鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T07:49:13Z)
• VERA: Validation and Evaluation of Retrieval-Augmented Systems [5.709401805125129]
  VERAは、大規模言語モデル(LLM)からの出力の透明性と信頼性を高めるために設計されたフレームワークである。 VERAが意思決定プロセスを強化し、AIアプリケーションへの信頼を高める方法を示す。
  論文  参考訳（メタデータ） (2024-08-16T21:59:59Z)
• How Reliable are LLMs as Knowledge Bases? Re-thinking Facutality and Consistency [60.25969380388974]
  大規模言語モデル (LLM) は知識ベース (KB) として研究されている。 現在の評価手法は、信頼性の高い性能の他の決定的な基準を見越して、知識の保持に過度に焦点を絞っている。 我々は,事実と一貫性を定量化するための新しい基準と指標を提案し,最終的な信頼性スコアを導いた。
  論文  参考訳（メタデータ） (2024-07-18T15:20:18Z)
• LMM-PCQA: Assisting Point Cloud Quality Assessment with LMM [83.98966702271576]
  本研究の目的は,大規模マルチモダリティモデル(LMM)に対するポイントクラウド品質評価(PCQA)の知識付与の可能性を検討することである。 品質ラベルを微調整段階のテキスト記述に変換することにより、LMMは点雲の2次元投影から品質評価ロジットを導出することができる。 提案手法の有効性を実証し,PCQAへのLMMの新たな統合を実証した。
  論文  参考訳（メタデータ） (2024-04-28T14:47:09Z)
• Large Language Model-Based Interpretable Machine Learning Control in Building Energy Systems [3.0309252269809264]
  本稿では、モデルとその推論の透明性と理解を高める機械学習(ML)の分野である、解釈可能な機械学習(IML)について検討する。 共有価値の原則とLarge Language Models(LLMs)のコンテキスト内学習機能を組み合わせた革新的なフレームワークを開発する。 本稿では,仮想テストベッドにおける需要応答イベント下での予測制御に基づく事前冷却モデルの実現可能性を示すケーススタディを提案する。
  論文  参考訳（メタデータ） (2024-02-14T21:19:33Z)
• A Survey on Large Language Models for Recommendation [77.91673633328148]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。 本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
  論文  参考訳（メタデータ） (2023-05-31T13:51:26Z)
• Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
  機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。 私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。 当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
  論文  参考訳（メタデータ） (2021-01-11T15:54:48Z)
• Towards Guidelines for Assessing Qualities of Machine Learning Systems [1.715032913622871]
  本稿では,産業利用事例に基づくMLシステムの品質モデルの構築について述べる。 将来的には、MLシステムの種類によって、品質という用語がどう違うかを学びたいと考えています。
  論文  参考訳（メタデータ） (2020-08-25T13:45:54Z)
• Technology Readiness Levels for AI & ML [79.22051549519989]
  機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。 エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。 我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-21T17:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。