論文の概要: SafeML: Safety Monitoring of Machine Learning Classifiers through Statistical Difference Measure

• arxiv url: http://arxiv.org/abs/2005.13166v1
• Date: Wed, 27 May 2020 05:27:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 08:30:48.960531
• Title: SafeML: Safety Monitoring of Machine Learning Classifiers through Statistical Difference Measure
• Title（参考訳）: safeml:統計差分法による機械学習分類器の安全性モニタリング
• Authors: Koorosh Aslansefat, Ioannis Sorokos, Declan Whiting, Ramin Tavakoli Kolagari, Yiannis Papadopoulos
• Abstract要約: 本稿では,MLシステムの運用において,単一の保護概念内での安全性とセキュリティの両面に対処することを目的とする。 本研究では,経験的累積分布関数(ECDF)の距離測定値を用いて,データ駆動システムの動作と運用状況を監視する。 予備的な知見は,MLコンポーネントのアプリケーションコンテキストが安全性に有効であるかどうかを検知するための基盤となることを示唆している。
• 参考スコア（独自算出の注目度）: 1.2599533416395765
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Ensuring safety and explainability of machine learning (ML) is a topic of increasing relevance as data-driven applications venture into safety-critical application domains, traditionally committed to high safety standards that are not satisfied with an exclusive testing approach of otherwise inaccessible black-box systems. Especially the interaction between safety and security is a central challenge, as security violations can lead to compromised safety. The contribution of this paper to addressing both safety and security within a single concept of protection applicable during the operation of ML systems is active monitoring of the behaviour and the operational context of the data-driven system based on distance measures of the Empirical Cumulative Distribution Function (ECDF). We investigate abstract datasets (XOR, Spiral, Circle) and current security-specific datasets for intrusion detection (CICIDS2017) of simulated network traffic, using distributional shift detection measures including the Kolmogorov-Smirnov, Kuiper, Anderson-Darling, Wasserstein and mixed Wasserstein-Anderson-Darling measures. Our preliminary findings indicate that the approach can provide a basis for detecting whether the application context of an ML component is valid in the safety-security. Our preliminary code and results are available at https://github.com/ISorokos/SafeML.
• Abstract（参考訳）: 機械学習(ML)の安全性と説明可能性を保証することは、データ駆動型アプリケーションが安全クリティカルなアプリケーションドメインに参入する際の関連性を高めるトピックである。 特に安全性とセキュリティの相互作用は、セキュリティ違反が安全を損なう可能性があるため、中心的な課題である。 mlシステムの運用中に適用可能な保護という1つの概念における安全性と安全性の両立に向けた本論文の貢献は、経験的累積分布関数(ecdf)の距離尺度に基づくデータ駆動システムの挙動と運用コンテキストのアクティブな監視である。 kolmogorov-smirnov, kuiper, anderson-darling, wasserstein, mixed wasserstein-anderson-darling などの分布シフト検出法を用いて,シミュレーションネットワークトラフィックの侵入検出のための抽象データセット(xor, spiral, circle)と現在のセキュリティ固有のデータセット(cicids2017)を調査した。 予備的な知見は,MLコンポーネントのアプリケーションコンテキストが安全性に有効であるかどうかを検知するための基盤となることを示唆している。 予備コードと結果はhttps://github.com/ISorokos/SafeML.comで公開されています。

関連論文リスト

• Nothing in Excess: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  重大言語モデル(LLM)が悪意のある命令から脅威を守るためには、安全性の調整が不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• Cross-Modality Safety Alignment [73.8765529028288]
  我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。 この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。 以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T16:14:15Z)
• System Safety Monitoring of Learned Components Using Temporal Metric Forecasting [8.76735390039138]
  学習可能な自律システムにおいて、学習したコンポーネントの安全性監視は、その出力がシステムの安全性違反に結びつかないことを保証するために不可欠である。 本稿では,確率的時系列予測に基づく安全監視手法を提案する。 安全度と違反予測精度を実証的に評価し、4つの最先端モデルの推論遅延とリソース使用率について検討した。
  論文  参考訳（メタデータ） (2024-05-21T23:48:26Z)
• Vulnerability of Machine Learning Approaches Applied in IoT-based Smart Grid: A Review [51.31851488650698]
  機械学習(ML)は、IoT(Internet-of-Things)ベースのスマートグリッドでの使用頻度が高まっている。 電力信号に注入された逆方向の歪みは システムの正常な制御と操作に大きな影響を及ぼす 安全クリティカルパワーシステムに適用されたMLsgAPPの脆弱性評価を行うことが不可欠である。
  論文  参考訳（メタデータ） (2023-08-30T03:29:26Z)
• Leveraging Traceability to Integrate Safety Analysis Artifacts into the Software Development Process [51.42800587382228]
  安全保証ケース(SAC)は、システムの進化中に維持することが困難である。 本稿では,ソフトウェアトレーサビリティを活用して,関連するシステムアーチファクトを安全解析モデルに接続する手法を提案する。 安全ステークホルダーがシステム変更が安全性に与える影響を分析するのに役立つように、システム変更の合理性を設計する。
  論文  参考訳（メタデータ） (2023-07-14T16:03:27Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)
• Fail-Safe Adversarial Generative Imitation Learning [9.594432031144716]
  本稿では, 安全な生成連続ポリシー, エンドツーエンドの生成逆トレーニング, 最悪の場合の安全性保証を, クローズドフォームの確率密度/勾配で実現する安全層を提案する。 安全層は、すべてのアクションを安全なアクションの集合にマッピングし、変量式と密度の測定値の加算率を使用する。 実世界のドライバーのインタラクションデータに関する実験では,提案手法のトラクタビリティ,安全性,模倣性能を実証的に実証した。
  論文  参考訳（メタデータ） (2022-03-03T13:03:06Z)
• MESA: Offline Meta-RL for Safe Adaptation and Fault Tolerance [73.3242641337305]
  最近の研究は、制約に違反する確率を測定するリスク尺度を学習し、安全を可能にするために使用することができる。 我々は,安全な探索をオフラインのメタRL問題とみなし,様々な環境における安全かつ安全でない行動の例を活用することを目的としている。 次に,メタラーニングシミュレーションのアプローチであるMESA(Meta-learning for Safe Adaptation)を提案する。
  論文  参考訳（メタデータ） (2021-12-07T08:57:35Z)
• Reliability Assessment and Safety Arguments for Machine Learning Components in Assuring Learning-Enabled Autonomous Systems [19.65793237440738]
  LES(Learning-Enabled Systems)のための総合保証フレームワークを提案する。 次に、ML分類器のための新しいモデルに依存しない信頼性評価モデル(RAM)を提案する。 モデル仮定と、我々のRAMが発見したML信頼性を評価するための固有の課題について論じる。
  論文  参考訳（メタデータ） (2021-11-30T14:39:22Z)
• A Survey of Algorithms for Black-Box Safety Validation of Cyber-Physical Systems [30.638615396429536]
  安全クリティカルな人工知能の普及により、この研究は、CPSの最先端の安全検証技術の調査を提供する。 本稿では,最適化,経路計画,強化学習,重要サンプリングの分野におけるアルゴリズムについて論じる。 自動運転車や航空機衝突回避システムなど、安全クリティカルな応用の概要を概説する。
  論文  参考訳（メタデータ） (2020-05-06T17:31:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。