論文の概要: Learning Run-time Safety Monitors for Machine Learning Components
- arxiv url: http://arxiv.org/abs/2406.16220v1
- Date: Sun, 23 Jun 2024 21:25:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 18:25:12.061896
- Title: Learning Run-time Safety Monitors for Machine Learning Components
- Title（参考訳）: 機械学習コンポーネントのための実行時安全モニタの学習
- Authors: Ozan Vardal, Richard Hawkins, Colin Paterson, Chiara Picardi, Daniel Omeiza, Lars Kunze, Ibrahim Habli,
- Abstract要約: 本稿では、劣化データセットと機械学習を用いて、機械学習コンポーネントの安全モニタを作成するプロセスを紹介する。
作成した安全モニタは、MLコンポーネントと並行してASにデプロイされ、モデル出力に関連する安全リスクの予測を提供する。
- 参考スコア（独自算出の注目度）: 8.022333445774382
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: For machine learning components used as part of autonomous systems (AS) in carrying out critical tasks it is crucial that assurance of the models can be maintained in the face of post-deployment changes (such as changes in the operating environment of the system). A critical part of this is to be able to monitor when the performance of the model at runtime (as a result of changes) poses a safety risk to the system. This is a particularly difficult challenge when ground truth is unavailable at runtime. In this paper we introduce a process for creating safety monitors for ML components through the use of degraded datasets and machine learning. The safety monitor that is created is deployed to the AS in parallel to the ML component to provide a prediction of the safety risk associated with the model output. We demonstrate the viability of our approach through some initial experiments using publicly available speed sign datasets.
- Abstract（参考訳）: 自律システム(AS)の一部として重要なタスクを実行するために使用される機械学習コンポーネントについては、デプロイ後の変更(システムの運用環境の変化など)に直面してモデルの保証を維持することが重要である。
重要な部分は、実行時に(変更の結果)モデルのパフォーマンスがシステムに安全リスクをもたらすことを監視できることである。
これは、実行時に真理が利用できない場合、特に難しい課題である。
本稿では、劣化データセットと機械学習を用いて、MLコンポーネントの安全モニタを作成するプロセスを紹介する。
作成した安全モニタは、MLコンポーネントと並行してASにデプロイされ、モデル出力に関連する安全リスクの予測を提供する。
我々は,公開速度標識データセットを用いた実験により,提案手法の有効性を実証する。
関連論文リスト
- System Safety Monitoring of Learned Components Using Temporal Metric Forecasting [8.76735390039138]
学習可能な自律システムにおいて、学習したコンポーネントの安全性監視は、その出力がシステムの安全性違反に結びつかないことを保証するために不可欠である。
本稿では,確率的時系列予測に基づく安全監視手法を提案する。
安全度と違反予測精度を実証的に評価し、4つの最先端モデルの推論遅延とリソース使用率について検討した。
論文 参考訳（メタデータ） (2024-05-21T23:48:26Z) - Highlighting the Safety Concerns of Deploying LLMs/VLMs in Robotics [54.57914943017522]
本稿では,大規模言語モデル (LLMs) と視覚言語モデル (VLMs) をロボティクスアプリケーションに統合する際のロバスト性と安全性に関する重要な課題を強調する。
論文 参考訳（メタデータ） (2024-02-15T22:01:45Z) - Assurance for Deployed Continual Learning Systems [0.0]
著者らは、ディープラーニングコンピュータビジョンアルゴリズムを用いて、連続学習を安全に実行するための新しいフレームワークを開発した。
安全フレームワークには、画像分類を実行する畳み込みニューラルネットワークのアンサンブルなど、いくつかの機能が含まれている。
結果は、システムが安全に動作していないことをフレームワークが検出できることを示している。
論文 参考訳（メタデータ） (2023-11-16T22:22:13Z) - Privacy Side Channels in Machine Learning Systems [87.53240071195168]
プライバシサイドチャネルは、システムレベルのコンポーネントを利用してプライベート情報を抽出する攻撃である。
例えば、差分プライベートなトレーニングを適用する前にトレーニングデータを重複させることで、保証可能なプライバシ保証を完全に無効にするサイドチャネルが生成されることを示す。
さらに,学習データセットに含まれる秘密鍵を抽出するために,言語モデルを学習データ再生からブロックするシステムを利用することを示す。
論文 参考訳（メタデータ） (2023-09-11T16:49:05Z) - Safety Margins for Reinforcement Learning [53.10194953873209]
安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。
Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
論文 参考訳（メタデータ） (2023-07-25T16:49:54Z) - Unifying Evaluation of Machine Learning Safety Monitors [0.0]
ランタイムモニタは、予測エラーを検出し、オペレーション中にシステムを安全な状態に保つために開発された。
本稿では、モニタの安全性(安全利得)と使用後の残りの安全ギャップ(残留ハザード)の3つの統合安全指向指標を紹介する。
3つのユースケース(分類、ドローン着陸、自律走行)は、提案されたメトリクスの観点から、文献からのメトリクスをどのように表現できるかを示すために使用される。
論文 参考訳（メタデータ） (2022-08-31T07:17:42Z) - Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。
これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
論文 参考訳（メタデータ） (2022-08-23T05:02:09Z) - An Empirical Analysis of the Use of Real-Time Reachability for the
Safety Assurance of Autonomous Vehicles [7.1169864450668845]
本稿では,1/10スケールのオープンソース自動運転車プラットフォームの安全性を確保するために,シンプルなアーキテクチャの実装にリアルタイムリーチビリティアルゴリズムを提案する。
提案手法では,システムの将来状態に対するコントローラの判断の影響に着目して,基盤となるコントローラを解析する必要性を抽象化する。
論文 参考訳（メタデータ） (2022-05-03T11:12:29Z) - Benchmarking Safety Monitors for Image Classifiers with Machine Learning [0.0]
高精度機械学習(ML)画像分類器は、動作時に失敗しないことを保証できない。
安全モニタなどのフォールトトレランス機構の使用は,システムを安全な状態に保つ上で有望な方向である。
本稿では,ML画像分類器のベンチマークを行うためのベースラインフレームワークを確立することを目的とする。
論文 参考訳（メタデータ） (2021-10-04T07:52:23Z) - Multi Agent System for Machine Learning Under Uncertainty in Cyber
Physical Manufacturing System [78.60415450507706]
近年の予測機械学習の進歩は、製造における様々なユースケースに応用されている。
ほとんどの研究は、それに関連する不確実性に対処することなく予測精度を最大化することに焦点を当てた。
本稿では,機械学習における不確実性の原因を特定し,不確実性下での機械学習システムの成功基準を確立する。
論文 参考訳（メタデータ） (2021-07-28T10:28:05Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳（メタデータ） (2020-10-19T13:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。