論文の概要: Scope Compliance Uncertainty Estimate
- arxiv url: http://arxiv.org/abs/2312.10801v1
- Date: Sun, 17 Dec 2023 19:44:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 14:34:31.921266
- Title: Scope Compliance Uncertainty Estimate
- Title（参考訳）: スコープコンプライアンスの不確実性推定
- Authors: Al-Harith Farhad, Ioannis Sorokos, Mohammed Naveed Akram, Koorosh
Aslansefat, Daniel Schneider
- Abstract要約: SafeMLはそのような監視を行うためのモデルに依存しないアプローチである。
この研究は、二項決定を連続計量に変換することによってこれらの制限に対処する。
- 参考スコア（独自算出の注目度）: 0.4262974002462632
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The zeitgeist of the digital era has been dominated by an expanding
integration of Artificial Intelligence~(AI) in a plethora of applications
across various domains. With this expansion, however, questions of the safety
and reliability of these methods come have become more relevant than ever.
Consequently, a run-time ML model safety system has been developed to ensure
the model's operation within the intended context, especially in applications
whose environments are greatly variable such as Autonomous Vehicles~(AVs).
SafeML is a model-agnostic approach for performing such monitoring, using
distance measures based on statistical testing of the training and operational
datasets; comparing them to a predetermined threshold, returning a binary value
whether the model should be trusted in the context of the observed data or be
deemed unreliable. Although a systematic framework exists for this approach,
its performance is hindered by: (1) a dependency on a number of design
parameters that directly affect the selection of a safety threshold and
therefore likely affect its robustness, (2) an inherent assumption of certain
distributions for the training and operational sets, as well as (3) a high
computational complexity for relatively large sets. This work addresses these
limitations by changing the binary decision to a continuous metric.
Furthermore, all data distribution assumptions are made obsolete by
implementing non-parametric approaches, and the computational speed increased
by introducing a new distance measure based on the Empirical Characteristics
Functions~(ECF).
- Abstract（参考訳）: デジタル時代のサイテジストは、さまざまな領域にまたがる多数のアプリケーションにおいて、人工知能~AIのさらなる統合によって支配されている。
しかし、この拡張により、これらの手法の安全性と信頼性に関する疑問はこれまで以上に重要になっている。
その結果、特に自律走行車(AV)のような環境が非常に変化するアプリケーションにおいて、意図したコンテキスト内でのモデルの動作を保証するために、実行時のMLモデル安全システムが開発された。
SafeMLは、トレーニングと運用データセットの統計的テストに基づく距離測定を使用して、そのような監視を行うためのモデルに依存しないアプローチである。
このアプローチには体系的な枠組みが存在するが、その性能は(1)安全閾値の選択に直接影響し、従ってその堅牢性に影響を与えるいくつかの設計パラメータへの依存、(2)訓練と運用セットの特定の分布の固有の仮定、(3)比較的大きな集合に対する高い計算複雑性によって妨げられている。
この作業は、バイナリ決定を連続的なメトリックに変更することで、これらの制限に対処する。
さらに、非パラメトリックなアプローチを実装することにより、すべてのデータ分布仮定を時代遅れにし、経験的特徴関数~(ECF)に基づいた新しい距離測度を導入することにより計算速度が向上する。
関連論文リスト
- Learning Controlled Stochastic Differential Equations [61.82896036131116]
本研究では,非一様拡散を伴う連続多次元非線形微分方程式のドリフト係数と拡散係数の両方を推定する新しい手法を提案する。
我々は、(L2)、(Linfty)の有限サンプル境界や、係数の正則性に適応する学習率を持つリスクメトリクスを含む、強力な理論的保証を提供する。
当社のメソッドはオープンソースPythonライブラリとして利用可能です。
論文 参考訳（メタデータ） (2024-11-04T11:09:58Z) - Dynamic Model Agnostic Reliability Evaluation of Machine-Learning
Methods Integrated in Instrumentation & Control Systems [1.8978726202765634]
データ駆動型ニューラルネットワークベースの機械学習アルゴリズムの信頼性は十分に評価されていない。
National Institute for Standards and Technologyの最近のレポートでは、MLにおける信頼性は採用にとって重要な障壁となっている。
トレーニングデータセットにアウト・オブ・ディストリビューション検出を組み込むことにより、ML予測の相対的信頼性を評価するためのリアルタイムモデル非依存手法を実証する。
論文 参考訳（メタデータ） (2023-08-08T18:25:42Z) - Variable Importance Matching for Causal Inference [73.25504313552516]
これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。
Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。
LASSO を用いて Model-to-Match フレームワークを運用する。
論文 参考訳（メタデータ） (2023-02-23T00:43:03Z) - Uncertainty Estimation based on Geometric Separation [13.588210692213568]
機械学習では、特定の入力が正しい確率を正確に予測することがリスク管理に不可欠である。
機械学習モデルにおける不確実性推定を改善するための新しい幾何学的アプローチを提案する。
論文 参考訳（メタデータ） (2023-01-11T13:19:24Z) - Exploring validation metrics for offline model-based optimisation with
diffusion models [50.404829846182764]
モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。
モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。
本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
論文 参考訳（メタデータ） (2022-11-19T16:57:37Z) - Quantifying Model Uncertainty for Semantic Segmentation using Operators
in the RKHS [20.348825818435767]
本稿では,セマンティックセグメンテーションモデルの高精度な予測不確実性定量化のためのフレームワークを提案する。
我々は、ヒルベルト空間(RKHS)を再現するカーネルにおけるモデルの特徴空間に関連する不確実性の多項関数定義を用いる。
これにより、従来のベイズ法よりもモデルの不確実性に対するはるかに正確な見方が導かれる。
論文 参考訳（メタデータ） (2022-11-03T17:10:49Z) - Two-Stage Robust and Sparse Distributed Statistical Inference for
Large-Scale Data [18.34490939288318]
本稿では,高次元データやオフレーヤによって汚染される可能性のある大規模データを含む設定において,統計的推論を行うという課題に対処する。
空間性を促進することによって高次元モデルに対処する2段階の分散および頑健な統計的推論手法を提案する。
論文 参考訳（メタデータ） (2022-08-17T11:17:47Z) - StaDRe and StaDRo: Reliability and Robustness Estimation of ML-based
Forecasting using Statistical Distance Measures [0.476203519165013]
本研究は,時系列データに対するSafeMLの利用,および統計的距離測定を用いたML予測手法の信頼性とロバスト性評価に焦点をあてる。
本稿では,SDDに基づく信頼性評価(StaDRe)とSDDに基づくロバストネス(StaDRo)の尺度を提案する。
クラスタリング手法の助けを借りて、トレーニング中に見られるデータの統計的特性と予測との類似性を同定する。
論文 参考訳（メタデータ） (2022-06-17T19:52:48Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Evaluating the Safety of Deep Reinforcement Learning Models using
Semi-Formal Verification [81.32981236437395]
本稿では,区間分析に基づく半形式的意思決定手法を提案する。
本手法は, 標準ベンチマークに比較して, 形式検証に対して比較結果を得る。
提案手法は, 意思決定モデルにおける安全性特性を効果的に評価することを可能にする。
論文 参考訳（メタデータ） (2020-10-19T11:18:06Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-04-21T23:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。