論文の概要: StaDRe and StaDRo: Reliability and Robustness Estimation of ML-based
Forecasting using Statistical Distance Measures
- arxiv url: http://arxiv.org/abs/2206.11116v1
- Date: Fri, 17 Jun 2022 19:52:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-26 20:11:46.678585
- Title: StaDRe and StaDRo: Reliability and Robustness Estimation of ML-based
Forecasting using Statistical Distance Measures
- Title（参考訳）: StaDReとStaDRo:統計的距離測定によるMLベース予測の信頼性とロバスト性の推定
- Authors: Mohammed Naveed Akram, Akshatha Ambekar, Ioannis Sorokos, Koorosh
Aslansefat, Daniel Schneider
- Abstract要約: 本研究は,時系列データに対するSafeMLの利用,および統計的距離測定を用いたML予測手法の信頼性とロバスト性評価に焦点をあてる。
本稿では,SDDに基づく信頼性評価(StaDRe)とSDDに基づくロバストネス(StaDRo)の尺度を提案する。
クラスタリング手法の助けを借りて、トレーニング中に見られるデータの統計的特性と予測との類似性を同定する。
- 参考スコア（独自算出の注目度）: 0.476203519165013
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliability estimation of Machine Learning (ML) models is becoming a crucial
subject. This is particularly the case when such \mbox{models} are deployed in
safety-critical applications, as the decisions based on model predictions can
result in hazardous situations. In this regard, recent research has proposed
methods to achieve safe, \mbox{dependable}, and reliable ML systems. One such
method consists of detecting and analyzing distributional shift, and then
measuring how such systems respond to these shifts. This was proposed in
earlier work in SafeML. This work focuses on the use of SafeML for time series
data, and on reliability and robustness estimation of ML-forecasting methods
using statistical distance measures. To this end, distance measures based on
the Empirical Cumulative Distribution Function (ECDF) proposed in SafeML are
explored to measure Statistical-Distance Dissimilarity (SDD) across time
series. We then propose SDD-based Reliability Estimate (StaDRe) and SDD-based
Robustness (StaDRo) measures. With the help of a clustering technique, the
similarity between the statistical properties of data seen during training and
the forecasts is identified. The proposed method is capable of providing a link
between dataset SDD and Key Performance Indicators (KPIs) of the ML models.
- Abstract（参考訳）: 機械学習(ML)モデルの信頼性評価が重要な課題となっている。
このような \mbox{models} が安全クリティカルなアプリケーションにデプロイされる場合、モデル予測に基づく決定が危険な状況を引き起こす可能性がある。
この点において、近年の研究は安全で、mbox{dependable}、信頼性の高いMLシステムを実現する方法を提案している。
そのような方法の1つは、分布シフトを検出して分析し、それらのシフトにどのように反応するかを測定することである。
これは以前にSafeMLで提案された。
本研究は,時系列データに対するSafeMLの利用,および統計的距離測定を用いたML予測手法の信頼性とロバスト性評価に焦点をあてる。
この目的のために, SafeML で提案されている経験的累積分布関数 (ECDF) に基づく距離測定を行い, 時系列にわたって統計的距離異性度 (SDD) を測定する。
次に、SDDに基づく信頼性評価(StaDRe)およびSDDに基づくロバストネス(StaDRo)尺度を提案する。
クラスタリング手法を用いて,トレーニング中に観測されたデータの統計特性と予測値との類似性を明らかにする。
提案手法は,MLモデルのデータセットSDDとキーパフォーマンス指標(KPI)のリンクを提供する。
関連論文リスト
- Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。
我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
論文 参考訳（メタデータ） (2024-09-23T07:55:35Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Evaluation of Predictive Reliability to Foster Trust in Artificial
Intelligence. A case study in Multiple Sclerosis [0.34473740271026115]
機械学習の失敗のスポッティングは、ML予測を使用して臨床上の決定を下す場合、最重要事項である。
我々は,任意のMLモデルのデプロイメントフェーズで使用可能なシンプルなアプローチを提案し,予測を信頼するか否かを提案する。
本手法は,デプロイメント中のML障害の可能性を見極めることによって,臨床医に効果的な支援を提供することを約束する。
論文 参考訳（メタデータ） (2024-02-27T14:48:07Z) - Scope Compliance Uncertainty Estimate [0.4262974002462632]
SafeMLはそのような監視を行うためのモデルに依存しないアプローチである。
この研究は、二項決定を連続計量に変換することによってこれらの制限に対処する。
論文 参考訳（メタデータ） (2023-12-17T19:44:20Z) - Dynamic Model Agnostic Reliability Evaluation of Machine-Learning
Methods Integrated in Instrumentation & Control Systems [1.8978726202765634]
データ駆動型ニューラルネットワークベースの機械学習アルゴリズムの信頼性は十分に評価されていない。
National Institute for Standards and Technologyの最近のレポートでは、MLにおける信頼性は採用にとって重要な障壁となっている。
トレーニングデータセットにアウト・オブ・ディストリビューション検出を組み込むことにより、ML予測の相対的信頼性を評価するためのリアルタイムモデル非依存手法を実証する。
論文 参考訳（メタデータ） (2023-08-08T18:25:42Z) - Learning Robust Statistics for Simulation-based Inference under Model
Misspecification [23.331522354991527]
本稿では,シミュレーションに基づく推論手法の異なるクラスにまたがって機能するモデル不特定性を扱うための,最初の一般的なアプローチを提案する。
提案手法は,モデルが適切に特定された場合の精度を保ちながら,不特定シナリオにおいて頑健な推論をもたらすことを示す。
論文 参考訳（メタデータ） (2023-05-25T09:06:26Z) - Two-Stage Robust and Sparse Distributed Statistical Inference for
Large-Scale Data [18.34490939288318]
本稿では,高次元データやオフレーヤによって汚染される可能性のある大規模データを含む設定において,統計的推論を行うという課題に対処する。
空間性を促進することによって高次元モデルに対処する2段階の分散および頑健な統計的推論手法を提案する。
論文 参考訳（メタデータ） (2022-08-17T11:17:47Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。
我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。
アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
論文 参考訳（メタデータ） (2020-06-12T10:40:46Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。