論文の概要: An investigation of challenges encountered when specifying training data
and runtime monitors for safety critical ML applications
- arxiv url: http://arxiv.org/abs/2301.13476v1
- Date: Tue, 31 Jan 2023 08:56:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-01 17:16:48.018209
- Title: An investigation of challenges encountered when specifying training data
and runtime monitors for safety critical ML applications
- Title(参考訳): 安全クリティカルMLアプリケーションのためのトレーニングデータと実行時モニタを指定する際の課題の検討
- Authors: Hans-Martin Heyn and Eric Knauss and Iswarya Malleswaran and Shruthi
Dinakaran
- Abstract要約: 機械学習(ML)モデルを含むクリティカルソフトウェアの開発と運用には、厳格さと確立されたプロセスが必要である。
重要なMLモデルに対するトレーニングデータとランタイム監視の指定方法に大きな不確実性が見られる。
- 参考スコア(独自算出の注目度): 5.553426007439564
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Context and motivation: The development and operation of critical software
that contains machine learning (ML) models requires diligence and established
processes. Especially the training data used during the development of ML
models have major influences on the later behaviour of the system. Runtime
monitors are used to provide guarantees for that behaviour. Question / problem:
We see major uncertainty in how to specify training data and runtime monitoring
for critical ML models and by this specifying the final functionality of the
system. In this interview-based study we investigate the underlying challenges
for these difficulties. Principal ideas/results: Based on ten interviews with
practitioners who develop ML models for critical applications in the automotive
and telecommunication sector, we identified 17 underlying challenges in 6
challenge groups that relate to the challenge of specifying training data and
runtime monitoring. Contribution: The article provides a list of the identified
underlying challenges related to the difficulties practitioners experience when
specifying training data and runtime monitoring for ML models. Furthermore,
interconnection between the challenges were found and based on these
connections recommendation proposed to overcome the root causes for the
challenges.
- Abstract(参考訳): コンテキストとモチベーション: 機械学習(ML)モデルを含む重要なソフトウェアの開発と運用には、厳格さと確立されたプロセスが必要である。
特に、MLモデルの開発で使用されるトレーニングデータは、システムの後の振る舞いに大きな影響を与えます。
ランタイムモニタは、その動作の保証を提供するために使用される。
質問 / 問題: 重要なMLモデルのトレーニングデータとランタイム監視の指定方法と、それによってシステムの最終的な機能を指定する方法に大きな不確実性がある。
本研究は,これらの課題に対する基礎的課題について検討する。
主なアイデア/結果:自動車および通信分野で重要な応用のためのmlモデルを開発する実践者10人のインタビューに基づき、トレーニングデータとランタイム監視の課題に関連する6つのチャレンジグループで17の課題を特定した。
コントリビューション: この記事は、MLモデルのトレーニングデータとランタイム監視を指定する際の、実践者が経験する困難に関連する、特定された根本的な課題のリストを提供する。
さらに, 課題間の相互接続が発見され, 課題の根本原因を克服するため, これらの接続を推奨した。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [57.49531095113406]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - Challenges and Experiences of Iranian Developers with MLOps at
Enterprise [0.0]
本研究では、イランの開発者がエンタープライズ環境でMLOpsパラダイムを実装する際の課題と経験について考察する。
我々は、主要な技術企業で使われている最も人気のあるMLOpsツールについてレビューする。
この結果から、データ品質の問題、リソース不足、モデルデプロイメントの難しさが、実践者が直面している主な課題であることがわかった。
論文 参考訳(メタデータ) (2024-02-19T16:48:42Z) - ML-Enabled Systems Model Deployment and Monitoring: Status Quo and
Problems [7.280443300122617]
我々は、ML対応システムのエンジニアリング方法に関する実践的洞察を集めるために、国際調査を実施した。
モデル配置および監視段階における現状と問題点を解析した。
私たちの結果は、実践において採用されているプラクティスや問題をより深く理解する上で役立ちます。
論文 参考訳(メタデータ) (2024-02-08T00:25:30Z) - Competition-Level Problems are Effective LLM Evaluators [124.7648712310141]
本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。
まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。
驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
論文 参考訳(メタデータ) (2023-12-04T18:58:57Z) - Towards leveraging LLMs for Conditional QA [1.9649272351760063]
本研究では,条件付き質問応答の挑戦領域におけるLarge Language Models(LLM)の機能と限界について考察する。
これらの結果から,全ての入力コンテキストを完全にエンコードすることなく,微調整LDMがSOTA(State-of-the-art (SOTA))性能を上回ることが判明した。
これらのモデルは、抽出された質問応答において、SOTAを10ポイント以上遅れる問題に遭遇し、偽情報を注入するリスクを軽減する。
論文 参考訳(メタデータ) (2023-12-02T14:02:52Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-09-13T04:06:47Z) - Contrastive Example-Based Control [163.6482792040079]
報酬関数ではなく多段階遷移の暗黙的なモデルを学ぶオフラインのサンプルベース制御法を提案する。
状態ベースおよび画像ベースのオフライン制御タスクの範囲で、学習された報酬関数を使用するベースラインよりも優れています。
論文 参考訳(メタデータ) (2023-07-24T19:43:22Z) - Causal Scene BERT: Improving object detection by searching for
challenging groups of data [125.40669814080047]
コンピュータビジョンアプリケーションは、物体検出のようなタスクのためにニューラルネットワークでパラメータ化された学習ベースの知覚モジュールに依存している。
これらのモジュールは、トレーニングプロセスに固有のバイアスのため、予想される誤差が低いが、データの非定型的なグループに対して高い誤差を持つことが多い。
本研究の主な貢献は,シミュレートされたシーンに対して因果的介入を行うことにより,前向きにそのようなグループを発見する擬似オートマチック手法である。
論文 参考訳(メタデータ) (2022-02-08T05:14:16Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳(メタデータ) (2021-03-02T22:50:45Z) - Automatic Feasibility Study via Data Quality Analysis for ML: A
Case-Study on Label Noise [21.491392581672198]
我々はSnoopyを紹介し、データサイエンティストと機械学習エンジニアが体系的で理論的に確立された実現可能性研究を行うのを支援することを目的としている。
我々は、基礎となるタスクの既約誤差を推定し、この問題にアプローチする。
エンド・ツー・エンドの実験では、ユーザーがかなりのラベリング時間と金銭的努力を節約できることを示す。
論文 参考訳(メタデータ) (2020-10-16T14:21:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。