論文の概要: An investigation of challenges encountered when specifying training data
and runtime monitors for safety critical ML applications
- arxiv url: http://arxiv.org/abs/2301.13476v1
- Date: Tue, 31 Jan 2023 08:56:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-01 17:16:48.018209
- Title: An investigation of challenges encountered when specifying training data
and runtime monitors for safety critical ML applications
- Title（参考訳）: 安全クリティカルMLアプリケーションのためのトレーニングデータと実行時モニタを指定する際の課題の検討
- Authors: Hans-Martin Heyn and Eric Knauss and Iswarya Malleswaran and Shruthi
Dinakaran
- Abstract要約: 機械学習(ML)モデルを含むクリティカルソフトウェアの開発と運用には、厳格さと確立されたプロセスが必要である。
重要なMLモデルに対するトレーニングデータとランタイム監視の指定方法に大きな不確実性が見られる。
- 参考スコア（独自算出の注目度）: 5.553426007439564
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Context and motivation: The development and operation of critical software
that contains machine learning (ML) models requires diligence and established
processes. Especially the training data used during the development of ML
models have major influences on the later behaviour of the system. Runtime
monitors are used to provide guarantees for that behaviour. Question / problem:
We see major uncertainty in how to specify training data and runtime monitoring
for critical ML models and by this specifying the final functionality of the
system. In this interview-based study we investigate the underlying challenges
for these difficulties. Principal ideas/results: Based on ten interviews with
practitioners who develop ML models for critical applications in the automotive
and telecommunication sector, we identified 17 underlying challenges in 6
challenge groups that relate to the challenge of specifying training data and
runtime monitoring. Contribution: The article provides a list of the identified
underlying challenges related to the difficulties practitioners experience when
specifying training data and runtime monitoring for ML models. Furthermore,
interconnection between the challenges were found and based on these
connections recommendation proposed to overcome the root causes for the
challenges.
- Abstract（参考訳）: コンテキストとモチベーション: 機械学習(ML)モデルを含む重要なソフトウェアの開発と運用には、厳格さと確立されたプロセスが必要である。
特に、MLモデルの開発で使用されるトレーニングデータは、システムの後の振る舞いに大きな影響を与えます。
ランタイムモニタは、その動作の保証を提供するために使用される。
質問 / 問題: 重要なMLモデルのトレーニングデータとランタイム監視の指定方法と、それによってシステムの最終的な機能を指定する方法に大きな不確実性がある。
本研究は,これらの課題に対する基礎的課題について検討する。
主なアイデア/結果:自動車および通信分野で重要な応用のためのmlモデルを開発する実践者10人のインタビューに基づき、トレーニングデータとランタイム監視の課題に関連する6つのチャレンジグループで17の課題を特定した。
コントリビューション: この記事は、MLモデルのトレーニングデータとランタイム監視を指定する際の、実践者が経験する困難に関連する、特定された根本的な課題のリストを提供する。
さらに, 課題間の相互接続が発見され, 課題の根本原因を克服するため, これらの接続を推奨した。
関連論文リスト
- Guiding Through Complexity: What Makes Good Supervision for Hard Reasoning Tasks? [74.88417042125985]
複雑さの異なるタスクにおいて、様々な品質レベルで監視データを提供する様々なデータ駆動戦略について検討する。
ハードタスクの監視における結果エラー率が高い場合でも、そのようなデータによるトレーニングは、より簡単なサブタスクの監督を完璧に上回ります。
また,本研究の結果から,タスク・インスペクションとサブタスク・インスペクションを補完することで,顕著なパフォーマンス向上が期待できることがわかった。
論文 参考訳（メタデータ） (2024-10-27T17:55:27Z) - Federated Large Language Models: Current Progress and Future Directions [63.68614548512534]
本稿では,LLM(FedLLM)のフェデレーション学習について調査し,最近の進歩と今後の方向性を明らかにする。
ファインチューニングと迅速な学習という2つの重要な側面に注目し、既存の作業と関連する研究課題について議論する。
論文 参考訳（メタデータ） (2024-09-24T04:14:33Z) - Maintainability Challenges in ML: A Systematic Literature Review [5.669063174637433]
本研究の目的は,機械学習ワークフローのさまざまな段階における保守性課題を特定し,合成することである。
13,000件以上の論文を審査し、56件を質的に分析した。
論文 参考訳（メタデータ） (2024-08-17T13:24:15Z) - A Review of the Challenges with Massive Web-mined Corpora Used in Large Language Models Pre-Training [0.0]
このレビューでは、ノイズ(不適切な情報や誤解を招く情報)、コンテンツの重複、品質の低い情報や誤った情報の存在、バイアス、機密情報や個人情報をウェブマイニングコーパスに含めることなど、この分野における重要な課題を明らかにしている。
データクリーニング、前処理、バイアス検出、緩和のための現在の手法を検討することで、既存のアプローチのギャップを強調し、今後の研究の方向性を提案する。
論文 参考訳（メタデータ） (2024-07-10T13:09:23Z) - Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。
再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。
MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
論文 参考訳（メタデータ） (2024-04-23T16:01:33Z) - ML-Enabled Systems Model Deployment and Monitoring: Status Quo and
Problems [7.280443300122617]
我々は、ML対応システムのエンジニアリング方法に関する実践的洞察を集めるために、国際調査を実施した。
モデル配置および監視段階における現状と問題点を解析した。
私たちの結果は、実践において採用されているプラクティスや問題をより深く理解する上で役立ちます。
論文 参考訳（メタデータ） (2024-02-08T00:25:30Z) - Competition-Level Problems are Effective LLM Evaluators [121.15880285283116]
本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。
まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。
驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
論文 参考訳（メタデータ） (2023-12-04T18:58:57Z) - Towards leveraging LLMs for Conditional QA [1.9649272351760063]
本研究では,条件付き質問応答の挑戦領域におけるLarge Language Models(LLM)の機能と限界について考察する。
これらの結果から,全ての入力コンテキストを完全にエンコードすることなく,微調整LDMがSOTA(State-of-the-art (SOTA))性能を上回ることが判明した。
これらのモデルは、抽出された質問応答において、SOTAを10ポイント以上遅れる問題に遭遇し、偽情報を注入するリスクを軽減する。
論文 参考訳（メタデータ） (2023-12-02T14:02:52Z) - Contrastive Example-Based Control [163.6482792040079]
報酬関数ではなく多段階遷移の暗黙的なモデルを学ぶオフラインのサンプルベース制御法を提案する。
状態ベースおよび画像ベースのオフライン制御タスクの範囲で、学習された報酬関数を使用するベースラインよりも優れています。
論文 参考訳（メタデータ） (2023-07-24T19:43:22Z) - Causal Scene BERT: Improving object detection by searching for
challenging groups of data [125.40669814080047]
コンピュータビジョンアプリケーションは、物体検出のようなタスクのためにニューラルネットワークでパラメータ化された学習ベースの知覚モジュールに依存している。
これらのモジュールは、トレーニングプロセスに固有のバイアスのため、予想される誤差が低いが、データの非定型的なグループに対して高い誤差を持つことが多い。
本研究の主な貢献は,シミュレートされたシーンに対して因果的介入を行うことにより,前向きにそのようなグループを発見する擬似オートマチック手法である。
論文 参考訳（メタデータ） (2022-02-08T05:14:16Z) - Automatic Feasibility Study via Data Quality Analysis for ML: A
Case-Study on Label Noise [21.491392581672198]
我々はSnoopyを紹介し、データサイエンティストと機械学習エンジニアが体系的で理論的に確立された実現可能性研究を行うのを支援することを目的としている。
我々は、基礎となるタスクの既約誤差を推定し、この問題にアプローチする。
エンド・ツー・エンドの実験では、ユーザーがかなりのラベリング時間と金銭的努力を節約できることを示す。
論文 参考訳（メタデータ） (2020-10-16T14:21:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。