論文の概要: Unifying Evaluation of Machine Learning Safety Monitors

• arxiv url: http://arxiv.org/abs/2208.14660v1
• Date: Wed, 31 Aug 2022 07:17:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-01 13:04:39.797946
• Title: Unifying Evaluation of Machine Learning Safety Monitors
• Title（参考訳）: 機械学習安全モニタの統一評価
• Authors: Joris Guerin and Raul Sena Ferreira and Kevin Delmas and J\'er\'emie Guiochet
• Abstract要約: ランタイムモニタは、予測エラーを検出し、オペレーション中にシステムを安全な状態に保つために開発された。 本稿では、モニタの安全性(安全利得)と使用後の残りの安全ギャップ(残留ハザード)の3つの統合安全指向指標を紹介する。 3つのユースケース(分類、ドローン着陸、自律走行)は、提案されたメトリクスの観点から、文献からのメトリクスをどのように表現できるかを示すために使用される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing use of Machine Learning (ML) in critical autonomous systems, runtime monitors have been developed to detect prediction errors and keep the system in a safe state during operations. Monitors have been proposed for different applications involving diverse perception tasks and ML models, and specific evaluation procedures and metrics are used for different contexts. This paper introduces three unified safety-oriented metrics, representing the safety benefits of the monitor (Safety Gain), the remaining safety gaps after using it (Residual Hazard), and its negative impact on the system's performance (Availability Cost). To compute these metrics, one requires to define two return functions, representing how a given ML prediction will impact expected future rewards and hazards. Three use-cases (classification, drone landing, and autonomous driving) are used to demonstrate how metrics from the literature can be expressed in terms of the proposed metrics. Experimental results on these examples show how different evaluation choices impact the perceived performance of a monitor. As our formalism requires us to formulate explicit safety assumptions, it allows us to ensure that the evaluation conducted matches the high-level system requirements.
• Abstract（参考訳）: 重要な自律システムにおける機械学習(ML)の利用の増加に伴い、予測エラーを検出し、運用中にシステムを安全な状態に保つランタイムモニタが開発された。 多様な知覚タスクやMLモデルを含むさまざまなアプリケーションに対してモニタが提案され、異なるコンテキストに対して特定の評価手順とメトリクスが使用される。 本稿では、監視装置の安全性向上(セーフティゲイン)、使用後の残りの安全ギャップ(Residual Hazard)、およびシステム性能(アベイラビリティコスト)に悪影響を与える3つの統合安全指向メトリクスを紹介する。 これらのメトリクスを計算するには、与えられたml予測が将来の報酬やハザードにどのように影響するかを表す、2つの戻り関数を定義する必要がある。 3つのユースケース(分類、ドローン着陸、自律運転)は、文献からのメトリクスが提案されたメトリクスでどのように表現できるかを示すために使用される。 これらの実験結果から、異なる評価選択がモニターの性能に与える影響が示された。 私たちの形式主義は、明示的な安全仮定を定式化する必要があるので、高いレベルのシステム要件に合致した評価を保証できます。

関連論文リスト

• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• Learning Run-time Safety Monitors for Machine Learning Components [8.022333445774382]
  本稿では、劣化データセットと機械学習を用いて、機械学習コンポーネントの安全モニタを作成するプロセスを紹介する。 作成した安全モニタは、MLコンポーネントと並行してASにデプロイされ、モデル出力に関連する安全リスクの予測を提供する。
  論文  参考訳（メタデータ） (2024-06-23T21:25:06Z)
• System Safety Monitoring of Learned Components Using Temporal Metric Forecasting [8.76735390039138]
  学習可能な自律システムにおいて、学習したコンポーネントの安全性監視は、その出力がシステムの安全性違反に結びつかないことを保証するために不可欠である。 本稿では,確率的時系列予測に基づく安全監視手法を提案する。 安全度と違反予測精度を実証的に評価し、4つの最先端モデルの推論遅延とリソース使用率について検討した。
  論文  参考訳（メタデータ） (2024-05-21T23:48:26Z)
• Designing monitoring strategies for deployed machine learning algorithms: navigating performativity through a causal lens [6.329470650220206]
  この研究の目的は、監視戦略を設計する際の比較的過小評価されている複雑さを強調することである。 MLに基づく未計画の読み出し予測のためのリスク予測アルゴリズムについて検討する。 このケーススタディの結果は、すべての監視システムが平等に作成されるわけではないという、一見単純な(そして明らかな)事実を強調します。
  論文  参考訳（メタデータ） (2023-11-20T00:15:16Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)
• Benchmarking Safety Monitors for Image Classifiers with Machine Learning [0.0]
  高精度機械学習(ML)画像分類器は、動作時に失敗しないことを保証できない。 安全モニタなどのフォールトトレランス機構の使用は,システムを安全な状態に保つ上で有望な方向である。 本稿では,ML画像分類器のベンチマークを行うためのベースラインフレームワークを確立することを目的とする。
  論文  参考訳（メタデータ） (2021-10-04T07:52:23Z)
• Sample-Efficient Safety Assurances using Conformal Prediction [57.92013073974406]
  早期警戒システムは、安全でない状況が差し迫ったときに警告を提供することができる。 安全性を確実に向上させるためには、これらの警告システムは証明可能な偽陰性率を持つべきである。 本稿では,共形予測と呼ばれる統計的推論手法とロボット・環境力学シミュレータを組み合わせたフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-28T23:00:30Z)
• Learning Uncertainty For Safety-Oriented Semantic Segmentation In Autonomous Driving [77.39239190539871]
  自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。 相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。 本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
  論文  参考訳（メタデータ） (2021-05-28T09:23:05Z)
• Evaluating the Safety of Deep Reinforcement Learning Models using Semi-Formal Verification [81.32981236437395]
  本稿では,区間分析に基づく半形式的意思決定手法を提案する。 本手法は, 標準ベンチマークに比較して, 形式検証に対して比較結果を得る。 提案手法は, 意思決定モデルにおける安全性特性を効果的に評価することを可能にする。
  論文  参考訳（メタデータ） (2020-10-19T11:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。