論文の概要: Defining Quality Requirements for a Trustworthy AI Wildflower Monitoring Platform

• arxiv url: http://arxiv.org/abs/2303.13151v1
• Date: Thu, 23 Mar 2023 10:06:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 14:56:19.697963
• Title: Defining Quality Requirements for a Trustworthy AI Wildflower Monitoring Platform
• Title（参考訳）: 信頼できるAIワイルドフラワーモニタリングプラットフォームの品質要件の定義
• Authors: Petra Heck and Gerard Schouten
• Abstract要約: プロダクション対応のAIシステムは、高品質な信頼性を持つ必要がある。 本稿では,野生の花をモニタリングする深層学習プラットフォームである実生ケーススタディに,そのような品質モデルを適用した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For an AI solution to evolve from a trained machine learning model into a production-ready AI system, many more things need to be considered than just the performance of the machine learning model. A production-ready AI system needs to be trustworthy, i.e. of high quality. But how to determine this in practice? For traditional software, ISO25000 and its predecessors have since long time been used to define and measure quality characteristics. Recently, quality models for AI systems, based on ISO25000, have been introduced. This paper applies one such quality model to a real-life case study: a deep learning platform for monitoring wildflowers. The paper presents three realistic scenarios sketching what it means to respectively use, extend and incrementally improve the deep learning platform for wildflower identification and counting. Next, it is shown how the quality model can be used as a structured dictionary to define quality requirements for data, model and software. Future work remains to extend the quality model with metrics, tools and best practices to aid AI engineering practitioners in implementing trustworthy AI systems.
• Abstract（参考訳）: トレーニングされた機械学習モデルから運用可能なaiシステムへと進化するaiソリューションには、マシンラーニングモデルのパフォーマンスだけでなく、多くのことを考慮する必要があります。 プロダクション対応のAIシステムは、高品質な信頼性を持つ必要がある。 しかし、実際どのように判断するか? 従来のソフトウェアでは、ISO25000とその前任者が品質特性の定義と測定に長い間使われてきた。 近年,ISO25000に基づくAIシステムの品質モデルが導入されている。 本稿では,野生の花をモニタリングする深層学習プラットフォームである実生ケーススタディに,そのような品質モデルを適用した。 本稿では,野生の花の識別とカウントのためのディープラーニングプラットフォームの利用,拡張,漸進的に改善する3つの現実シナリオを提案する。 次に、データ、モデル、ソフトウェアの品質要件を定義するために、構造化辞書として品質モデルがどのように使用できるかを示す。 将来的な作業は、信頼できるAIシステムを実装するAIエンジニアリング実践者を支援するために、メトリクス、ツール、ベストプラクティスを使用して品質モデルを拡張することにあります。

関連論文リスト

• AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving [68.73885845181242]
  本稿では,問題を自動的に識別し,データを効率よくキュレートし,自動ラベル付けによりモデルを改善する自動データエンジン(AIDE)を提案する。 さらに,AVデータセットのオープンワールド検出のためのベンチマークを構築し,様々な学習パラダイムを包括的に評価し,提案手法の優れた性能を低コストで実証する。
  論文  参考訳（メタデータ） (2024-03-26T04:27:56Z)
• QuRating: Selecting High-Quality Data for Training Language Models [64.83332850645074]
  データ品質に関する人間の直感をキャプチャできる事前学習データを選択するQuRatingを導入する。 本稿では,書体,専門知識,事実とトリビア,教育的価値の4つの特性について検討する。 ペアの判断からスカラー評価を学習するためにQurモデルをトレーニングし、それを4つの基準ごとに品質評価付き260Bのトレーニングコーパスにアノテートするために使用します。
  論文  参考訳（メタデータ） (2024-02-15T06:36:07Z)
• AI Maintenance: A Robustness Perspective [91.28724422822003]
  我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。 本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。 我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
  論文  参考訳（メタデータ） (2023-01-08T15:02:38Z)
• Enabling Automated Machine Learning for Model-Driven AI Engineering [60.09869520679979]
  モデル駆動型ソフトウェアエンジニアリングとモデル駆動型AIエンジニアリングを実現するための新しいアプローチを提案する。 特に、私たちはAutomated MLをサポートし、AI集約システムの開発において、AIの深い知識のないソフトウェアエンジニアを支援します。
  論文  参考訳（メタデータ） (2022-03-06T10:12:56Z)
• Amazon SageMaker Model Monitor: A System for Real-Time Insights into Deployed Machine Learning Models [15.013638492229376]
  Amazon SageMaker Model Monitorはフルマネージドなサービスで、Amazon SageMakerでホストされている機械学習モデルの品質を継続的に監視します。 我々のシステムは,モデルにおけるデータ,概念,バイアス,特徴帰属ドリフトをリアルタイムで検出し,モデル所有者が正しい行動を取るように警告する。
  論文  参考訳（メタデータ） (2021-11-26T18:35:38Z)
• A Model-Driven Engineering Approach to Machine Learning and Software Modeling [0.5156484100374059]
  モデルは、ソフトウェア工学(SE)と人工知能(AI)のコミュニティで使われている。 主な焦点はIoT(Internet of Things)とCPS(Smart Cyber-Physical Systems)のユースケースである。
  論文  参考訳（メタデータ） (2021-07-06T15:50:50Z)
• Testing Framework for Black-box AI Models [1.916485402892365]
  本稿では,AIモデルをテストするためのエンドツーエンドの汎用フレームワークを提案する。 我々のツールは産業用AIモデルのテストに使われており、問題を明らかにするのに非常に効果的でした。
  論文  参考訳（メタデータ） (2021-02-11T18:15:23Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)
• Quality Management of Machine Learning Systems [0.0]
  機械学習(ML)技術の大きな進歩により、人工知能(AI)は私たちの日常生活の一部になっています。 ビジネス/ミッションクリティカルなシステムでは、AIアプリケーションの信頼性と保守性に関する深刻な懸念が残っている。 本稿では,MLアプリケーションのための総合的な品質管理フレームワークの展望について述べる。
  論文  参考訳（メタデータ） (2020-06-16T21:34:44Z)
• Towards CRISP-ML(Q): A Machine Learning Process Model with Quality Assurance Methodology [53.063411515511056]
  本稿では,機械学習アプリケーション開発のためのプロセスモデルを提案する。 第1フェーズでは、データの可用性がプロジェクトの実現可能性に影響を与えることが多いため、ビジネスとデータの理解が結合されます。 第6フェーズでは、機械学習アプリケーションの監視とメンテナンスに関する最先端のアプローチがカバーされている。
  論文  参考訳（メタデータ） (2020-03-11T08:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。