論文の概要: Integrating Testing and Operation-related Quantitative Evidences in
Assurance Cases to Argue Safety of Data-Driven AI/ML Components
- arxiv url: http://arxiv.org/abs/2202.05313v1
- Date: Thu, 10 Feb 2022 20:35:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-14 15:36:23.925169
- Title: Integrating Testing and Operation-related Quantitative Evidences in
Assurance Cases to Argue Safety of Data-Driven AI/ML Components
- Title(参考訳): データ駆動型AI/MLコンポーネントの安全性確保のための保証事例におけるテストと運用関連定量的証拠の統合
- Authors: Michael Kl\"as, Lisa J\"ockel, Rasmus Adler, Jan Reich
- Abstract要約: 将来的には、AIは人間の身体に害を与える可能性のあるシステムに、ますます浸透していくだろう。
このような安全クリティカルなシステムでは、その残留リスクが許容範囲を超えないことが証明されなければならない。
本稿では,目標達成のためのより包括的な議論構造を提案する。
- 参考スコア(独自算出の注目度): 2.064612766965483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the future, AI will increasingly find its way into systems that can
potentially cause physical harm to humans. For such safety-critical systems, it
must be demonstrated that their residual risk does not exceed what is
acceptable. This includes, in particular, the AI components that are part of
such systems' safety-related functions. Assurance cases are an intensively
discussed option today for specifying a sound and comprehensive safety argument
to demonstrate a system's safety. In previous work, it has been suggested to
argue safety for AI components by structuring assurance cases based on two
complementary risk acceptance criteria. One of these criteria is used to derive
quantitative targets regarding the AI. The argumentation structures commonly
proposed to show the achievement of such quantitative targets, however, focus
on failure rates from statistical testing. Further important aspects are only
considered in a qualitative manner -- if at all. In contrast, this paper
proposes a more holistic argumentation structure for having achieved the
target, namely a structure that integrates test results with runtime aspects
and the impact of scope compliance and test data quality in a quantitative
manner. We elaborate different argumentation options, present the underlying
mathematical considerations, and discuss resulting implications for their
practical application. Using the proposed argumentation structure might not
only increase the integrity of assurance cases but may also allow claims on
quantitative targets that would not be justifiable otherwise.
- Abstract(参考訳): 将来的には、AIは人間の身体に害を与える可能性のあるシステムに、ますます浸透していくだろう。
このような安全クリティカルなシステムでは、その残留リスクが許容範囲を超えないことを示す必要がある。
これには、特に、そのようなシステムの安全関連機能の一部であるAIコンポーネントが含まれる。
保証ケースは、システムの安全性を示すために、健全で包括的な安全引数を指定するための、今日では議論の的になっている選択肢である。
これまでの研究では、2つの相補的なリスク受け入れ基準に基づいて保証ケースを構造化することで、AIコンポーネントの安全性を議論することが提案されている。
これらの基準の1つは、AIに関する定量的な目標を導出するために使用される。
このような量的目標の達成を示すために提案される議論構造は、統計検査による失敗率に重点を置いている。
さらに重要な側面は、定性的な方法でのみ考慮される。
これとは対照的に,本論文では,テスト結果を実行時と統合する構造と,スコープコンプライアンスとテストデータ品質の影響を定量的に比較した,より包括的な議論構造を提案する。
我々は、様々な議論オプションを詳述し、基礎となる数学的考察を提示し、それらの実践的応用に影響を及ぼす結果について論じる。
提案する議論構造を用いることで保証事例の完全性が向上するだけでなく、正当化できない量的対象に対する主張も可能となる。
関連論文リスト
- Word-Sequence Entropy: Towards Uncertainty Estimation in Free-Form
Medical Question Answering Applications and Beyond [63.969531254692725]
不確実性推定は、安全クリティカルな人間とAIのインタラクションシステムの信頼性を確保する上で重要な役割を果たす。
本稿では,ワードシーケンスエントロピー(WSE, Word-Sequence Entropy)を提案する。
We show that WSE exhibits excellent performance on accurate uncertainty Measurement under two standard criteria for correctness evaluation。
論文 参考訳(メタデータ) (2024-02-22T03:46:08Z) - Scaling #DNN-Verification Tools with Efficient Bound Propagation and
Parallel Computing [57.49021927832259]
ディープニューラルネットワーク(DNN)は多くのシナリオで異常な結果を示した強力なツールです。
しかし、それらの複雑な設計と透明性の欠如は、現実世界のアプリケーションに適用する際の安全性上の懸念を提起する。
DNNの形式的検証(FV)は、安全面の証明可能な保証を提供する貴重なソリューションとして登場した。
論文 参考訳(メタデータ) (2023-12-10T13:51:25Z) - ASSERT: Automated Safety Scenario Red Teaming for Evaluating the
Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。
このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。
統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文 参考訳(メタデータ) (2023-10-14T17:10:28Z) - Building Safe and Reliable AI systems for Safety Critical Tasks with
Vision-Language Processing [1.2183405753834557]
現在のAIアルゴリズムでは、障害検出の一般的な原因を特定できない。
予測の質を定量化するためには、追加のテクニックが必要である。
この論文は、分類、画像キャプション、視覚質問応答といったタスクのための視覚言語データ処理に焦点を当てる。
論文 参考訳(メタデータ) (2023-08-06T18:05:59Z) - A Counterfactual Safety Margin Perspective on the Scoring of Autonomous
Vehicles' Riskiness [52.27309191283943]
本稿では,異なるAVの行動のリスクを評価するためのデータ駆動型フレームワークを提案する。
本稿では,衝突を引き起こす可能性のある名目行動から最小限の偏差を示す,対実的安全マージンの概念を提案する。
論文 参考訳(メタデータ) (2023-08-02T09:48:08Z) - Conservative Estimation of Perception Relevance of Dynamic Objects for
Safe Trajectories in Automotive Scenarios [0.0]
関連性の概念はいまだ十分に定義されておらず、特定されていない。
本稿では,ハイウェイ領域における衝突安全への模範的適用により,この課題を克服する新しい手法を提案する。
本稿では、動的対象が知覚に関連し、完全な評価のために考慮する必要がある、保守的な推定法を提案する。
論文 参考訳(メタデータ) (2023-07-20T13:43:48Z) - Measuring Equality in Machine Learning Security Defenses: A Case Study
in Speech Recognition [56.69875958980474]
この研究は、学習したシステムを守るためのアプローチと、異なるサブ人口間でのセキュリティ防衛がパフォーマンス上の不平等をもたらす方法を検討する。
提案された多くの手法は、虚偽の拒絶やロバストネストレーニングの不平等といった直接的な害を引き起こす可能性がある。
本稿では, ランダム化スムースメントとニューラルリジェクションの2つの防御法の比較を行い, マイノリティ集団のサンプリング機構により, ランダム化スムースメントがより公平であることを見出した。
論文 参考訳(メタデータ) (2023-02-17T16:19:26Z) - Grasping Causality for the Explanation of Criticality for Automated
Driving [0.0]
本研究では,自動走行における安全関連要因の因果的理解を促進する因果的クエリの形式化を提案する。
ジュデア・パールの因果論に基づいて、因果関係を文脈とともに因果構造として定義する。
因果クエリに対する応答を正当に推定するには,データの可用性と品質が不可欠であるため,実世界および合成データ取得の要件についても論じる。
論文 参考訳(メタデータ) (2022-10-27T12:37:00Z) - Reliability Assessment and Safety Arguments for Machine Learning
Components in Assuring Learning-Enabled Autonomous Systems [19.65793237440738]
LES(Learning-Enabled Systems)のための総合保証フレームワークを提案する。
次に、ML分類器のための新しいモデルに依存しない信頼性評価モデル(RAM)を提案する。
モデル仮定と、我々のRAMが発見したML信頼性を評価するための固有の課題について論じる。
論文 参考訳(メタデータ) (2021-11-30T14:39:22Z) - ADC: Adversarial attacks against object Detection that evade Context
consistency checks [55.8459119462263]
文脈整合性チェックさえも、適切に構築された敵の例に対して脆弱であることを示す。
このような防御を覆す実例を生成するための適応型フレームワークを提案する。
我々の結果は、コンテキストを堅牢にモデル化し、一貫性をチェックする方法はまだ未解決の問題であることを示している。
論文 参考訳(メタデータ) (2021-10-24T00:25:09Z) - Efficient statistical validation with edge cases to evaluate Highly
Automated Vehicles [6.198523595657983]
自動運転車の大規模展開は、まだ解決されていない多くの安全上の課題にもかかわらず、差し迫っているようだ。
既存の標準は、検証が要求をカバーするテストケースのセットだけを必要とする決定論的プロセスに焦点を当てています。
本稿では, 自動生成テストケースを最悪のシナリオに偏り付け, システムの挙動の統計的特性を計算するための新しい手法を提案する。
論文 参考訳(メタデータ) (2020-03-04T04:35:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。