論文の概要: Dynamic Model Agnostic Reliability Evaluation of Machine-Learning Methods Integrated in Instrumentation & Control Systems

• arxiv url: http://arxiv.org/abs/2308.05120v1
• Date: Tue, 8 Aug 2023 18:25:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-11 14:46:53.291464
• Title: Dynamic Model Agnostic Reliability Evaluation of Machine-Learning Methods Integrated in Instrumentation & Control Systems
• Title（参考訳）: インスツルメンテーション・アンド・コントロールシステムに統合された機械学習法の動的モデルの信頼性評価
• Authors: Edward Chen, Han Bao, Nam Dinh
• Abstract要約: データ駆動型ニューラルネットワークベースの機械学習アルゴリズムの信頼性は十分に評価されていない。 National Institute for Standards and Technologyの最近のレポートでは、MLにおける信頼性は採用にとって重要な障壁となっている。 トレーニングデータセットにアウト・オブ・ディストリビューション検出を組み込むことにより、ML予測の相対的信頼性を評価するためのリアルタイムモデル非依存手法を実証する。
• 参考スコア（独自算出の注目度）: 1.8978726202765634
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In recent years, the field of data-driven neural network-based machine learning (ML) algorithms has grown significantly and spurred research in its applicability to instrumentation and control systems. While they are promising in operational contexts, the trustworthiness of such algorithms is not adequately assessed. Failures of ML-integrated systems are poorly understood; the lack of comprehensive risk modeling can degrade the trustworthiness of these systems. In recent reports by the National Institute for Standards and Technology, trustworthiness in ML is a critical barrier to adoption and will play a vital role in intelligent systems' safe and accountable operation. Thus, in this work, we demonstrate a real-time model-agnostic method to evaluate the relative reliability of ML predictions by incorporating out-of-distribution detection on the training dataset. It is well documented that ML algorithms excel at interpolation (or near-interpolation) tasks but significantly degrade at extrapolation. This occurs when new samples are "far" from training samples. The method, referred to as the Laplacian distributed decay for reliability (LADDR), determines the difference between the operational and training datasets, which is used to calculate a prediction's relative reliability. LADDR is demonstrated on a feedforward neural network-based model used to predict safety significant factors during different loss-of-flow transients. LADDR is intended as a "data supervisor" and determines the appropriateness of well-trained ML models in the context of operational conditions. Ultimately, LADDR illustrates how training data can be used as evidence to support the trustworthiness of ML predictions when utilized for conventional interpolation tasks.
• Abstract（参考訳）: 近年、データ駆動ニューラルネットワークベースの機械学習(ML)アルゴリズムの分野は著しく成長し、計測と制御システムへの適用性の研究が加速している。 運用環境では有望だが、そのようなアルゴリズムの信頼性は十分に評価されていない。 総合的なリスクモデリングの欠如は、これらのシステムの信頼性を低下させる可能性がある。 全米標準技術研究所の最近の報告では、MLの信頼性は採用にとって重要な障壁であり、インテリジェントシステムの安全かつ説明責任のある運用において重要な役割を果たす。 そこで本研究では,トレーニングデータセットに分散検出を組み込むことで,ml予測の相対的信頼性を評価するリアルタイムモデル非依存手法を提案する。 MLアルゴリズムは補間(または近補間)タスクでは優れているが、補間では著しく劣化する。 これは、新しいサンプルがトレーニングサンプルから"遠い"場合に発生する。 この手法はlaplacian distributed decay for reliability (laddr)と呼ばれ、予測の相対的信頼性を計算するために使用される運用データと訓練データセットの違いを決定する。 LADDRは、フィードフォワードニューラルネットワークベースのモデルで、異なるフローの損失遷移における安全性の重要な要因を予測する。 LADDRは「データスーパーバイザ」として意図され、運用条件の文脈でよく訓練されたMLモデルの適切性を決定する。 最終的に、LADDRは、従来の補間タスクに使用する場合のML予測の信頼性を支える証拠としてトレーニングデータを使用する方法を示している。

関連論文リスト

• The Misclassification Likelihood Matrix: Some Classes Are More Likely To Be Misclassified Than Others [1.654278807602897]
  本研究では、分散シフト下でのニューラルネットワーク予測の信頼性を定量化するための新しいツールとして、MLM(Misclassification Likelihood Matrix)を紹介した。 この研究の意味は、画像の分類を超えて、自動運転車などの自動運転システムで進行中の応用に及んでいる。
  論文  参考訳（メタデータ） (2024-07-10T16:43:14Z)
• Evaluation of Predictive Reliability to Foster Trust in Artificial Intelligence. A case study in Multiple Sclerosis [0.34473740271026115]
  機械学習の失敗のスポッティングは、ML予測を使用して臨床上の決定を下す場合、最重要事項である。 我々は,任意のMLモデルのデプロイメントフェーズで使用可能なシンプルなアプローチを提案し,予測を信頼するか否かを提案する。 本手法は,デプロイメント中のML障害の可能性を見極めることによって,臨床医に効果的な支援を提供することを約束する。
  論文  参考訳（メタデータ） (2024-02-27T14:48:07Z)
• Clustering and Uncertainty Analysis to Improve the Machine Learning-based Predictions of SAFARI-1 Control Follower Assembly Axial Neutron Flux Profiles [2.517043342442487]
  この研究の目的は、SAFARI-1実験炉の組み立て軸流中性子フラックスプロファイルを予測するための正確な機械学習(ML)モデルを開発することである。 MLモデルのデータ駆動性は、トレーニングデータにおけるノイズなどのソースによって導入された不確実性に影響を受けやすい。 本研究の目的は,教師付きMLアルゴリズムと教師なしMLアルゴリズムを組み合わせることで,制御アセンブリのMLモデルを改善することである。
  論文  参考訳（メタデータ） (2023-12-20T20:22:13Z)
• Scope Compliance Uncertainty Estimate [0.4262974002462632]
  SafeMLはそのような監視を行うためのモデルに依存しないアプローチである。 この研究は、二項決定を連続計量に変換することによってこれらの制限に対処する。
  論文  参考訳（メタデータ） (2023-12-17T19:44:20Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Robustness, Evaluation and Adaptation of Machine Learning Models in the Wild [4.304803366354879]
  本研究では、ドメインシフトに対するロバスト性の障害の原因と、ドメインロバストモデルをトレーニングするためのアルゴリズムを提案する。 モデル脆性の鍵となる原因はドメイン過度な適合であり、新しいトレーニングアルゴリズムはドメイン一般仮説を抑え、奨励する。
  論文  参考訳（メタデータ） (2023-03-05T21:41:16Z)
• Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization [58.720142291102135]
  近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。 緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。 トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
  論文  参考訳（メタデータ） (2022-11-09T23:40:52Z)
• Hessian-based toolbox for reliable and interpretable machine learning in physics [58.720142291102135]
  本稿では,モデルアーキテクチャの解釈可能性と信頼性,外挿を行うためのツールボックスを提案する。 与えられたテストポイントでの予測に対する入力データの影響、モデル予測の不確実性の推定、およびモデル予測の不可知スコアを提供する。 我々の研究は、物理学やより一般的には科学に適用されたMLにおける解釈可能性と信頼性の方法の体系的利用への道を開く。
  論文  参考訳（メタデータ） (2021-08-04T16:32:59Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。