論文の概要: Risks of ignoring uncertainty propagation in AI-augmented security pipelines

• arxiv url: http://arxiv.org/abs/2407.14540v2
• Date: Thu, 17 Jul 2025 10:04:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.155453
• Title: Risks of ignoring uncertainty propagation in AI-augmented security pipelines
• Title（参考訳）: AI強化セキュリティパイプラインにおける不確実性伝播を無視するリスク
• Authors: Emanuele Mezzi, Aurora Papotti, Fabio Massacci, Katja Tuma,
• Abstract要約: AI技術の使用は、ソフトウェアベースのシステムのセキュアな開発に統合されている。 パイプライン内のエラーの伝播を考慮すると、AIが拡張したシステムの不確実性を推定する以前の研究はない。 本研究では,不確かさの伝播を把握し,不確かさを定量化するためのシミュレータを開発し,一事例スタディにより伝播誤差のシミュレーションを評価する。
• 参考スコア（独自算出の注目度）: 5.692289204193087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The use of AI technologies is being integrated into the secure development of software-based systems, with an increasing trend of composing AI-based subsystems (with uncertain levels of performance) into automated pipelines. This presents a fundamental research challenge and seriously threatens safety-critical domains. Despite the existing knowledge about uncertainty in risk analysis, no previous work has estimated the uncertainty of AI-augmented systems given the propagation of errors in the pipeline. We provide the formal underpinnings for capturing uncertainty propagation, develop a simulator to quantify uncertainty, and evaluate the simulation of propagating errors with one case study. We discuss the generalizability of our approach and its limitations and present recommendations for evaluation policies concerning AI systems. Future work includes extending the approach by relaxing the remaining assumptions and by experimenting with a real system.
• Abstract（参考訳）: AI技術の使用は、AIベースのサブシステム(パフォーマンスが不確実な)を自動パイプラインに構成する傾向が高まり、ソフトウェアベースのシステムのセキュアな開発に統合されている。 これは、基本的な研究課題を示し、安全クリティカルドメインを深刻に脅かす。 リスク分析における不確実性に関する既存の知識にもかかわらず、パイプライン内のエラーの伝播を考慮すると、AIが強化したシステムの不確実性を推定する以前の研究は行われていない。 本研究では,不確かさの伝播を把握し,不確かさを定量化するためのシミュレータを開発し,一事例スタディにより伝播誤差のシミュレーションを評価する。 本稿では,我々のアプローチの一般化可能性とその限界について論じ,AIシステムに関する評価ポリシーの提言を行う。 今後の作業には、残りの仮定を緩和し、実際のシステムを試すことによるアプローチの拡張が含まれる。

関連論文リスト

• Systematic Hazard Analysis for Frontier AI using STPA [0.0]
  現在、フロンティアAI企業は、ハザードを特定し分析するための構造化アプローチの詳細を記述していない。 システム理論プロセス分析(Systems-Theoretic Process Analysis)は、複雑なシステムがいかに危険に晒されるかを特定するための体系的な方法論である。 我々は、フロンティアAIシステムにおいて、スコープを広げ、トレーサビリティを向上し、安全性保証の堅牢性を強化する能力を評価する。
  論文  参考訳（メタデータ） (2025-06-02T15:28:34Z)
• Adapting Probabilistic Risk Assessment for AI [0.0]
  汎用人工知能(AI)システムは、緊急リスク管理の課題を示す。 現在の手法は、しばしば選択的なテストとリスク優先順位に関する未文書の仮定に依存します。 本稿では,AIフレームワークの確率的リスクアセスメント(PRA)を紹介する。
  論文  参考訳（メタデータ） (2025-04-25T17:59:14Z)
• Can We Detect Failures Without Failure Data? Uncertainty-Aware Runtime Failure Detection for Imitation Learning Policies [19.27526590452503]
  FAIL-Detectは、模倣学習に基づくロボット操作における障害検出のための2段階のアプローチである。 まず、政策失敗と相関し、不確実性を捉えるスカラー信号にポリシー入力と出力を蒸留する。 我々の実験は、新しいフローベース密度推定器を使用する場合、学習信号がほぼ一貫した効果を示す。
  論文  参考訳（メタデータ） (2025-03-11T15:47:12Z)
• Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
  計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。 ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。 我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
  論文  参考訳（メタデータ） (2025-02-18T02:26:50Z)
• From Aleatoric to Epistemic: Exploring Uncertainty Quantification Techniques in Artificial Intelligence [19.369216778200034]
  不確実性定量化(英: Uncertainty Quantification、UQ)は、人工知能(AI)システムにおいて重要な側面である。 本稿では,AIにおける不確実性定量化技術の進化について概説する。 様々な分野におけるUQの多様な応用について検討し、意思決定、予測精度、システムの堅牢性への影響を強調した。
  論文  参考訳（メタデータ） (2025-01-05T23:14:47Z)
• What AI evaluations for preventing catastrophic risks can and cannot do [2.07180164747172]
  評価は、現在のパラダイムでは克服できない基本的な制限に直面している、と我々は主張する。 これは、評価が価値のあるツールである一方で、AIシステムが安全であることを保証する主要な方法として、評価に頼るべきではないことを意味します。
  論文  参考訳（メタデータ） (2024-11-26T18:00:36Z)
• EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
  我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。 我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
  論文  参考訳（メタデータ） (2024-07-31T17:59:24Z)
• Towards a Framework for Deep Learning Certification in Safety-Critical Applications Using Inherently Safe Design and Run-Time Error Detection [0.0]
  航空や他の安全上重要な分野における現実世界の問題について検討し,認定モデルの要件について検討する。 我々は、(i)本質的に安全な設計と(ii)実行時のエラー検出に基づいて、ディープラーニング認定に向けた新しいフレームワークを構築した。
  論文  参考訳（メタデータ） (2024-03-12T11:38:45Z)
• Asset-centric Threat Modeling for AI-based Systems [7.696807063718328]
  本稿では、AI関連資産、脅威、対策、残留リスクの定量化のためのアプローチおよびツールであるThreatFinderAIを提案する。 このアプローチの実用性を評価するため、参加者はAIベースのヘルスケアプラットフォームのサイバーセキュリティ専門家によって開発された脅威モデルを再現するよう命じられた。 全体として、ソリューションのユーザビリティはよく認識され、脅威の識別とリスクの議論を効果的にサポートする。
  論文  参考訳（メタデータ） (2024-03-11T08:40:01Z)
• Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution [110.99891169486366]
  本稿では,効率的かつ高精度な不確実性定量化を深層学習に基づく代理モデルに統合する手法を提案する。 本手法は,フォワード問題と逆問題の両方に対して,堅牢かつ効率的な不確実性定量化機能を備えたディープラーニングに基づく代理モデルを提案する。 提案手法は, 長期予測を含むシナリオに適合し, 拡張された自己回帰ロールアウトに対する不確かさの伝播に優れる。
  論文  参考訳（メタデータ） (2024-02-13T11:22:59Z)
• Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis [63.532413807686524]
  本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。 探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-12-18T16:09:43Z)
• Building Safe and Reliable AI systems for Safety Critical Tasks with Vision-Language Processing [1.2183405753834557]
  現在のAIアルゴリズムでは、障害検出の一般的な原因を特定できない。 予測の質を定量化するためには、追加のテクニックが必要である。 この論文は、分類、画像キャプション、視覚質問応答といったタスクのための視覚言語データ処理に焦点を当てる。
  論文  参考訳（メタデータ） (2023-08-06T18:05:59Z)
• Leveraging Traceability to Integrate Safety Analysis Artifacts into the Software Development Process [51.42800587382228]
  安全保証ケース(SAC)は、システムの進化中に維持することが困難である。 本稿では,ソフトウェアトレーサビリティを活用して,関連するシステムアーチファクトを安全解析モデルに接続する手法を提案する。 安全ステークホルダーがシステム変更が安全性に与える影響を分析するのに役立つように、システム変更の合理性を設計する。
  論文  参考訳（メタデータ） (2023-07-14T16:03:27Z)
• System Theoretic View on Uncertainties [0.0]
  本稿では,性能制限に対処するシステム理論アプローチを提案する。 我々は不確実性、すなわち知識の欠如に基づく分類を根本原因とする。
  論文  参考訳（メタデータ） (2023-03-07T16:51:24Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Detecting and Mitigating Test-time Failure Risks via Model-agnostic Uncertainty Learning [30.86992077157326]
  本稿では,すでに訓練済みのブラックボックス分類モデルの失敗リスクと予測的不確かさを推定するための,ポストホックメタラーナーであるリスクアドバイザを紹介する。 リスクアドバイザは、リスクスコアの提供に加えて、不確実性見積を、アレタリックおよびエピステマティックな不確実性コンポーネントに分解する。 ブラックボックス分類モデルおよび実世界および合成データセットのさまざまなファミリーの実験は、リスクアドバイザーがデプロイメント時の障害リスクを確実に予測していることを示している。
  論文  参考訳（メタデータ） (2021-09-09T17:23:31Z)
• Towards Safe Policy Improvement for Non-Stationary MDPs [48.9966576179679]
  多くの実世界の利害問題は非定常性を示し、利害関係が高ければ、偽の定常性仮定に関連するコストは受け入れがたい。 我々は、スムーズに変化する非定常的な意思決定問題に対して、高い信頼性で安全性を確保するための第一歩を踏み出します。 提案手法は,時系列解析を用いたモデルフリー強化学習の合成により,セルドンアルゴリズムと呼ばれる安全なアルゴリズムを拡張した。
  論文  参考訳（メタデータ） (2020-10-23T20:13:51Z)
• An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear Analysis [68.8204255655161]
  人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。 シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
  論文  参考訳（メタデータ） (2020-07-14T15:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。