論文の概要: MLTEing Models: Negotiating, Evaluating, and Documenting Model and System Qualities

• arxiv url: http://arxiv.org/abs/2303.01998v1
• Date: Fri, 3 Mar 2023 15:10:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 14:29:02.773440
• Title: MLTEing Models: Negotiating, Evaluating, and Documenting Model and System Qualities
• Title（参考訳）: mlteing model: 交渉、評価、文書化モデルとシステム品質
• Authors: Katherine R. Maffey, Kyle Dotterrer, Jennifer Niemann, Iain Cruickshank, Grace A. Lewis, Christian K\"astner
• Abstract要約: MLTEは機械学習モデルとシステムを評価するためのフレームワークと実装である。 最先端の評価テクニックを組織プロセスにコンパイルする。 MLTEツールは、モデル要件を表現するためにチームが使用できるドメイン固有の言語を提供することで、このプロセスをサポートする。
• 参考スコア（独自算出の注目度）: 1.1352560842946413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many organizations seek to ensure that machine learning (ML) and artificial intelligence (AI) systems work as intended in production but currently do not have a cohesive methodology in place to do so. To fill this gap, we propose MLTE (Machine Learning Test and Evaluation, colloquially referred to as "melt"), a framework and implementation to evaluate ML models and systems. The framework compiles state-of-the-art evaluation techniques into an organizational process for interdisciplinary teams, including model developers, software engineers, system owners, and other stakeholders. MLTE tooling supports this process by providing a domain-specific language that teams can use to express model requirements, an infrastructure to define, generate, and collect ML evaluation metrics, and the means to communicate results.
• Abstract（参考訳）: 多くの組織は、機械学習(ML)と人工知能(AI)システムが本番環境で動作することを保証することを目指しているが、現在、それを行うための密集した方法論を持っていない。 このギャップを埋めるために、MLモデルとシステムを評価するためのフレームワークと実装であるMLTE(Machine Learning Test and Evaluation、通称「メルト」)を提案する。 このフレームワークは最先端の評価技術を、モデル開発者、ソフトウェアエンジニア、システムオーナ、その他のステークホルダを含む学際的なチームのための組織プロセスにコンパイルする。 mlteツールは、モデル要件の表現に使用できるドメイン固有言語、ml評価メトリクスを定義し、生成し、収集するインフラストラクチャ、結果を伝える手段を提供することで、このプロセスをサポートします。

関連論文リスト

• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• Leveraging Large Language Models for Enhanced Process Model Comprehension [33.803742664323856]
  ビジネスプロセスマネジメント(BPM)では、効果的にプロセスモデルを理解することが重要であるが、重大な課題を生じさせる。 本稿では,Large Language Models(LLM)の高度な機能を活用し,複雑なプロセスモデルの解釈可能性を高める新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-08T13:12:46Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• A Framework to Model ML Engineering Processes [1.9744907811058787]
  機械学習(ML)ベースのシステムの開発は複雑で、多様なスキルセットを持つ複数の学際的なチームが必要である。 現在のプロセスモデリング言語は、そのようなシステムの開発を説明するには適していない。 ドメイン固有言語を中心に構築されたMLベースのソフトウェア開発プロセスのモデリングフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T09:17:36Z)
• Process Modeling With Large Language Models [42.0652924091318]
  本稿では,大規模言語モデル(LLM)のプロセスモデリングへの統合について検討する。 プロセスモデルの自動生成と反復的改善にLLMを利用するフレームワークを提案する。 予備的な結果は、プロセスモデリングタスクを合理化するフレームワークの能力を示している。
  論文  参考訳（メタデータ） (2024-03-12T11:27:47Z)
• Machine Learning-Enabled Software and System Architecture Frameworks [48.87872564630711]
  データサイエンスと機械学習に関連する関心事、例えばデータサイエンティストやデータエンジニアの利害関係者は、まだ既存のアーキテクチャフレームワークには含まれていない。 10か国25以上の組織から61名の被験者を対象に調査を行った。
  論文  参考訳（メタデータ） (2023-08-09T21:54:34Z)
• Benchmarking Automated Machine Learning Methods for Price Forecasting Applications [58.720142291102135]
  自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。 CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。 本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
  論文  参考訳（メタデータ） (2023-04-28T10:27:38Z)
• MDE for Machine Learning-Enabled Software Systems: A Case Study and Comparison of MontiAnna & ML-Quadrat [5.839906946900443]
  我々は,モノのインターネット(IoT)分野に着目した機械学習対応ソフトウェアシステムの開発に,MDEパラダイムを採用することを提案する。 ケーススタディで実証されたように、最先端のオープンソースモデリングツールであるMontiAnnaとML-Quadratが、この目的のためにどのように使用できるかを説明します。
  論文  参考訳（メタデータ） (2022-09-15T13:21:16Z)
• Data Analytics and Machine Learning Methods, Techniques and Tool for Model-Driven Engineering of Smart IoT Services [0.0]
  この論文は、IoT(Internet of Things)とCPS(Smart Cyber-Physical Systems)のためのスマートサービス開発を促進する新しいアプローチを提案する。 提案されたアプローチは、ソフトウェアエンジニアリングプロセスの抽象化と自動化、データ分析(DA)と機械学習(ML)のプラクティスを提供する。 我々はThingMLと呼ばれるオープンソースモデリングツールを拡張して提案手法の実装と検証を行う。
  論文  参考訳（メタデータ） (2021-02-12T11:09:54Z)
• Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
  機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。 私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。 当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
  論文  参考訳（メタデータ） (2021-01-11T15:54:48Z)
• Technology Readiness Levels for AI & ML [79.22051549519989]
  機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。 エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。 我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-21T17:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。