論文の概要: Incorporating Failure of Machine Learning in Dynamic Probabilistic Safety Assurance

• arxiv url: http://arxiv.org/abs/2506.06868v1
• Date: Sat, 07 Jun 2025 17:16:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:47.060539
• Title: Incorporating Failure of Machine Learning in Dynamic Probabilistic Safety Assurance
• Title（参考訳）: 動的確率的安全保証における機械学習の失敗の導入
• Authors: Razieh Arshadizadeh, Mahmoud Asgari, Zeinab Khosravi, Yiannis Papadopoulos, Koorosh Aslansefat,
• Abstract要約: より広範な因果安全分析の一環として, SafeML と Bayesian Networks (BNs) を統合する安全保証フレームワークを導入し, ML 障害をモデル化する。 交通標識認識を用いた自動車小隊のシミュレーションシステムに対するアプローチを実証する。
• 参考スコア（独自算出の注目度）: 0.1398098625978622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine Learning (ML) models are increasingly integrated into safety-critical systems, such as autonomous vehicle platooning, to enable real-time decision-making. However, their inherent imperfection introduces a new class of failure: reasoning failures often triggered by distributional shifts between operational and training data. Traditional safety assessment methods, which rely on design artefacts or code, are ill-suited for ML components that learn behaviour from data. SafeML was recently proposed to dynamically detect such shifts and assign confidence levels to the reasoning of ML-based components. Building on this, we introduce a probabilistic safety assurance framework that integrates SafeML with Bayesian Networks (BNs) to model ML failures as part of a broader causal safety analysis. This allows for dynamic safety evaluation and system adaptation under uncertainty. We demonstrate the approach on an simulated automotive platooning system with traffic sign recognition. The findings highlight the potential broader benefits of explicitly modelling ML failures in safety assessment.
• Abstract（参考訳）: 機械学習(ML)モデルは、リアルタイム意思決定を可能にするために、自律車小隊のような安全クリティカルなシステムにますます統合されている。 しかし、その固有の欠陥は、新しいタイプの障害をもたらす: 運用データとトレーニングデータの間の分散シフトによってしばしば引き起こされる障害を推論する。 設計成果物やコードに依存する従来の安全評価手法は、データから振る舞いを学ぶMLコンポーネントには適していない。 SafeMLは最近、このようなシフトを動的に検出し、信頼性レベルをMLベースのコンポーネントの推論に割り当てるために提案されている。 これに基づいて,より広範な因果安全分析の一環として,SafeMLとBayesian Networks(BNs)を統合した確率論的安全保証フレームワークを導入し,ML障害をモデル化する。 これにより、動的安全性評価と不確実性の下でのシステム適応が可能となる。 交通標識認識を用いた自動車小隊のシミュレーションシステムに対するアプローチを実証する。 この結果は、安全性評価においてML障害を明示的にモデル化する潜在的に広範なメリットを浮き彫りにした。

関連論文リスト

• SafeAuto: Knowledge-Enhanced Safe Autonomous Driving with Multimodal Foundation Models [63.71984266104757]
  我々は、構造化されていない知識と構造化されていない知識の両方を取り入れることで、MLLMベースの自動運転を強化するフレームワークであるSafeAutoを提案する。 安全知識を明示的に統合するため,交通ルールを一階述語論理に変換する推論コンポーネントを開発した。 我々のマルチモーダル検索・拡張生成モデルは、過去の運転経験から学ぶために、ビデオ、制御信号、環境特性を活用する。
  論文  参考訳（メタデータ） (2025-02-28T21:53:47Z)
• SafeSwitch: Steering Unsafe LLM Behavior via Internal Activation Signals [50.463399903987245]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的な能力を示すが、有害なコンテンツを生成することでリスクを引き起こす。 LLMは、内部状態の安全性に関する内部評価を同様に行うことができることを示す。 本稿では,プロバーをベースとした内部状態モニタを用いて,安全でない出力を規制するSafeSwitchを提案する。
  論文  参考訳（メタデータ） (2025-02-03T04:23:33Z)
• Incorporating System-level Safety Requirements in Perception Models via Reinforcement Learning [7.833541053347799]
  本稿では,システムレベルの安全目標を理解することにより,知覚要素を増強する訓練パラダイムを提案する。 このアプローチで訓練されたモデルは,システムレベルの安全性の観点から,ベースライン知覚モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-04T01:40:54Z)
• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• Dynamic Model Agnostic Reliability Evaluation of Machine-Learning Methods Integrated in Instrumentation & Control Systems [1.8978726202765634]
  データ駆動型ニューラルネットワークベースの機械学習アルゴリズムの信頼性は十分に評価されていない。 National Institute for Standards and Technologyの最近のレポートでは、MLにおける信頼性は採用にとって重要な障壁となっている。 トレーニングデータセットにアウト・オブ・ディストリビューション検出を組み込むことにより、ML予測の相対的信頼性を評価するためのリアルタイムモデル非依存手法を実証する。
  論文  参考訳（メタデータ） (2023-08-08T18:25:42Z)
• Uncertainty-aware predictive modeling for fair data-driven decisions [5.371337604556311]
  フェアMLシステムは安全なMLシステムであることを示す。 公平な判断については、不確実な分類を持つ個人に対して、安全なフェールオプションを使用することを議論する。
  論文  参考訳（メタデータ） (2022-11-04T20:04:39Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)
• Reliability Assessment and Safety Arguments for Machine Learning Components in Assuring Learning-Enabled Autonomous Systems [19.65793237440738]
  LES(Learning-Enabled Systems)のための総合保証フレームワークを提案する。 次に、ML分類器のための新しいモデルに依存しない信頼性評価モデル(RAM)を提案する。 モデル仮定と、我々のRAMが発見したML信頼性を評価するための固有の課題について論じる。
  論文  参考訳（メタデータ） (2021-11-30T14:39:22Z)
• Towards Probability-based Safety Verification of Systems with Components from Machine Learning [8.75682288556859]
  現在、機械学習システムの安全性の検証は不可能か、少なくとも非常に難しいと考えられている。 i) ほとんどのMLアプローチは、そのパワーとエラーの原因の両方である帰納的です。 制御実験により推定された誤差の確率と帰納的学習自体による出力の確率に基づく検証を提案する。
  論文  参考訳（メタデータ） (2020-03-02T19:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。