論文の概要: Integrating Testing and Operation-related Quantitative Evidences in
Assurance Cases to Argue Safety of Data-Driven AI/ML Components
- arxiv url: http://arxiv.org/abs/2202.05313v1
- Date: Thu, 10 Feb 2022 20:35:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-14 15:36:23.925169
- Title: Integrating Testing and Operation-related Quantitative Evidences in
Assurance Cases to Argue Safety of Data-Driven AI/ML Components
- Title（参考訳）: データ駆動型AI/MLコンポーネントの安全性確保のための保証事例におけるテストと運用関連定量的証拠の統合
- Authors: Michael Kl\"as, Lisa J\"ockel, Rasmus Adler, Jan Reich
- Abstract要約: 将来的には、AIは人間の身体に害を与える可能性のあるシステムに、ますます浸透していくだろう。
このような安全クリティカルなシステムでは、その残留リスクが許容範囲を超えないことが証明されなければならない。
本稿では,目標達成のためのより包括的な議論構造を提案する。
- 参考スコア（独自算出の注目度）: 2.064612766965483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the future, AI will increasingly find its way into systems that can
potentially cause physical harm to humans. For such safety-critical systems, it
must be demonstrated that their residual risk does not exceed what is
acceptable. This includes, in particular, the AI components that are part of
such systems' safety-related functions. Assurance cases are an intensively
discussed option today for specifying a sound and comprehensive safety argument
to demonstrate a system's safety. In previous work, it has been suggested to
argue safety for AI components by structuring assurance cases based on two
complementary risk acceptance criteria. One of these criteria is used to derive
quantitative targets regarding the AI. The argumentation structures commonly
proposed to show the achievement of such quantitative targets, however, focus
on failure rates from statistical testing. Further important aspects are only
considered in a qualitative manner -- if at all. In contrast, this paper
proposes a more holistic argumentation structure for having achieved the
target, namely a structure that integrates test results with runtime aspects
and the impact of scope compliance and test data quality in a quantitative
manner. We elaborate different argumentation options, present the underlying
mathematical considerations, and discuss resulting implications for their
practical application. Using the proposed argumentation structure might not
only increase the integrity of assurance cases but may also allow claims on
quantitative targets that would not be justifiable otherwise.
- Abstract（参考訳）: 将来的には、AIは人間の身体に害を与える可能性のあるシステムに、ますます浸透していくだろう。
このような安全クリティカルなシステムでは、その残留リスクが許容範囲を超えないことを示す必要がある。
これには、特に、そのようなシステムの安全関連機能の一部であるAIコンポーネントが含まれる。
保証ケースは、システムの安全性を示すために、健全で包括的な安全引数を指定するための、今日では議論の的になっている選択肢である。
これまでの研究では、2つの相補的なリスク受け入れ基準に基づいて保証ケースを構造化することで、AIコンポーネントの安全性を議論することが提案されている。
これらの基準の1つは、AIに関する定量的な目標を導出するために使用される。
このような量的目標の達成を示すために提案される議論構造は、統計検査による失敗率に重点を置いている。
さらに重要な側面は、定性的な方法でのみ考慮される。
これとは対照的に,本論文では,テスト結果を実行時と統合する構造と,スコープコンプライアンスとテストデータ品質の影響を定量的に比較した,より包括的な議論構造を提案する。
我々は、様々な議論オプションを詳述し、基礎となる数学的考察を提示し、それらの実践的応用に影響を及ぼす結果について論じる。
提案する議論構造を用いることで保証事例の完全性が向上するだけでなく、正当化できない量的対象に対する主張も可能となる。
関連論文リスト
- Safety case template for frontier AI: A cyber inability argument [2.2628353000034065]
攻撃的サイバー能力のための安全ケーステンプレートを提案する。
リスクモデルを特定し、リスクモデルからプロキシタスクを導出し、プロキシタスクの評価設定を定義し、評価結果を結びつける。
論文 参考訳（メタデータ） (2024-11-12T18:45:08Z) - On the Robustness of Adversarial Training Against Uncertainty Attacks [9.180552487186485]
学習問題において、手元のタスクに固有のノイズは、ある程度の不確実性なく推論する可能性を妨げている。
本研究は、敵の例、すなわち、誤分類を引き起こす注意深く摂動されたサンプルに対する防御が、より安全で信頼性の高い不確実性推定を保証していることを実証的および理論的に明らかにする。
我々は,CIFAR-10およびImageNetデータセット上で,公開ベンチマークのRobustBenchから,複数の逆ロバストモデルを評価する。
論文 参考訳（メタデータ） (2024-10-29T11:12:44Z) - Automating Semantic Analysis of System Assurance Cases using Goal-directed ASP [1.2189422792863451]
本稿では, セマンティックルールに基づく分析機能を備えた Assurance 2.0 の拡張手法を提案する。
本稿では, 論理的整合性, 妥当性, 不整合性など, 保証事例のユニークな意味的側面について考察する。
論文 参考訳（メタデータ） (2024-08-21T15:22:43Z) - Risks and NLP Design: A Case Study on Procedural Document QA [52.557503571760215]
より具体的なアプリケーションやユーザに対して分析を専門化すれば,ユーザに対するリスクや害の明確な評価が可能になる,と我々は主張する。
リスク指向のエラー分析を行い、リスクの低減とパフォーマンスの向上を図り、将来のシステムの設計を通知する。
論文 参考訳（メタデータ） (2024-08-16T17:23:43Z) - EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。
我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
論文 参考訳（メタデータ） (2024-07-31T17:59:24Z) - A PRISMA-Driven Bibliometric Analysis of the Scientific Literature on Assurance Case Patterns [7.930875992631788]
保証ケースはシステム障害を防ぐために使用できる。
それらは構造化された議論であり、様々な安全クリティカルなシステムの要求を議論し、中継することができる。
論文 参考訳（メタデータ） (2024-07-06T05:00:49Z) - Cross-Modality Safety Alignment [73.8765529028288]
我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。
この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。
以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
論文 参考訳（メタデータ） (2024-06-21T16:14:15Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - ASSERT: Automated Safety Scenario Red Teaming for Evaluating the
Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。
このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。
統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文 参考訳（メタデータ） (2023-10-14T17:10:28Z) - Building Safe and Reliable AI systems for Safety Critical Tasks with
Vision-Language Processing [1.2183405753834557]
現在のAIアルゴリズムでは、障害検出の一般的な原因を特定できない。
予測の質を定量化するためには、追加のテクニックが必要である。
この論文は、分類、画像キャプション、視覚質問応答といったタスクのための視覚言語データ処理に焦点を当てる。
論文 参考訳（メタデータ） (2023-08-06T18:05:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。