論文の概要: Risks of uncertainty propagation in Al-augmented security pipelines

• arxiv url: http://arxiv.org/abs/2407.14540v1
• Date: Sun, 14 Jul 2024 19:02:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-28 18:39:09.755559
• Title: Risks of uncertainty propagation in Al-augmented security pipelines
• Title（参考訳）: Al増備型セキュリティパイプラインにおける不確実性伝播のリスク
• Authors: Emanuele Mezzi, Aurora Papotti, Fabio Massacci, Katja Tuma,
• Abstract要約: AI技術の使用は、ソフトウェアベースのシステムのセキュアな開発に浸透している。 パイプライン内のエラーの伝播を考慮すると、AIが拡張したシステムの不確実性を推定する以前の研究はない。 本研究では,不確かさの伝播を把握し,不確かさを定量化するためのシミュレータを開発し,2つのケーススタディで誤りの伝播シミュレーションを評価する。
• 参考スコア（独自算出の注目度）: 5.692289204193087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The use of AI technologies is percolating into the secure development of software-based systems, with an increasing trend of composing AI-based subsystems (with uncertain levels of performance) into automated pipelines. This presents a fundamental research challenge and poses a serious threat to safety-critical domains (e.g., aviation). Despite the existing knowledge about uncertainty in risk analysis, no previous work has estimated the uncertainty of AI-augmented systems given the propagation of errors in the pipeline. We provide the formal underpinnings for capturing uncertainty propagation, develop a simulator to quantify uncertainty, and evaluate the simulation of propagating errors with two case studies. We discuss the generalizability of our approach and present policy implications and recommendations for aviation. Future work includes extending the approach and investigating the required metrics for validation in the aviation domain.
• Abstract（参考訳）: AI技術の使用は、AIベースのサブシステム(パフォーマンスが不確実な)を自動パイプラインに構成する傾向が強まり、ソフトウェアベースのシステムのセキュアな開発に浸透している。 これは、基本的な研究課題を示し、安全に重要な領域(航空など)に深刻な脅威をもたらす。 リスク分析における不確実性に関する既存の知識にもかかわらず、パイプライン内のエラーの伝播を考慮すると、AIが強化したシステムの不確実性を推定する以前の研究は行われていない。 本研究では,不確かさの伝播を把握し,不確かさを定量化するためのシミュレータを開発し,また2つのケーススタディで誤りの伝播シミュレーションを評価する。 本稿では,我々のアプローチの一般化可能性と,航空に対する政策含意と勧告について論じる。 今後の作業には、アプローチの拡張と、航空分野の検証に必要なメトリクスの調査が含まれる。

関連論文リスト

• EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
  我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。 我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
  論文  参考訳（メタデータ） (2024-07-31T17:59:24Z)
• Towards a Framework for Deep Learning Certification in Safety-Critical Applications Using Inherently Safe Design and Run-Time Error Detection [0.0]
  航空や他の安全上重要な分野における現実世界の問題について検討し,認定モデルの要件について検討する。 我々は、(i)本質的に安全な設計と(ii)実行時のエラー検出に基づいて、ディープラーニング認定に向けた新しいフレームワークを構築した。
  論文  参考訳（メタデータ） (2024-03-12T11:38:45Z)
• Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis [63.532413807686524]
  本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。 探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-12-18T16:09:43Z)
• Building Safe and Reliable AI systems for Safety Critical Tasks with Vision-Language Processing [1.2183405753834557]
  現在のAIアルゴリズムでは、障害検出の一般的な原因を特定できない。 予測の質を定量化するためには、追加のテクニックが必要である。 この論文は、分類、画像キャプション、視覚質問応答といったタスクのための視覚言語データ処理に焦点を当てる。
  論文  参考訳（メタデータ） (2023-08-06T18:05:59Z)
• Leveraging Traceability to Integrate Safety Analysis Artifacts into the Software Development Process [51.42800587382228]
  安全保証ケース(SAC)は、システムの進化中に維持することが困難である。 本稿では,ソフトウェアトレーサビリティを活用して,関連するシステムアーチファクトを安全解析モデルに接続する手法を提案する。 安全ステークホルダーがシステム変更が安全性に与える影響を分析するのに役立つように、システム変更の合理性を設計する。
  論文  参考訳（メタデータ） (2023-07-14T16:03:27Z)
• System Theoretic View on Uncertainties [0.0]
  本稿では,性能制限に対処するシステム理論アプローチを提案する。 我々は不確実性、すなわち知識の欠如に基づく分類を根本原因とする。
  論文  参考訳（メタデータ） (2023-03-07T16:51:24Z)
• Detecting and Mitigating Test-time Failure Risks via Model-agnostic Uncertainty Learning [30.86992077157326]
  本稿では,すでに訓練済みのブラックボックス分類モデルの失敗リスクと予測的不確かさを推定するための,ポストホックメタラーナーであるリスクアドバイザを紹介する。 リスクアドバイザは、リスクスコアの提供に加えて、不確実性見積を、アレタリックおよびエピステマティックな不確実性コンポーネントに分解する。 ブラックボックス分類モデルおよび実世界および合成データセットのさまざまなファミリーの実験は、リスクアドバイザーがデプロイメント時の障害リスクを確実に予測していることを示している。
  論文  参考訳（メタデータ） (2021-09-09T17:23:31Z)
• Towards Safe Policy Improvement for Non-Stationary MDPs [48.9966576179679]
  多くの実世界の利害問題は非定常性を示し、利害関係が高ければ、偽の定常性仮定に関連するコストは受け入れがたい。 我々は、スムーズに変化する非定常的な意思決定問題に対して、高い信頼性で安全性を確保するための第一歩を踏み出します。 提案手法は,時系列解析を用いたモデルフリー強化学習の合成により,セルドンアルゴリズムと呼ばれる安全なアルゴリズムを拡張した。
  論文  参考訳（メタデータ） (2020-10-23T20:13:51Z)
• An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear Analysis [68.8204255655161]
  人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。 シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
  論文  参考訳（メタデータ） (2020-07-14T15:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。