論文の概要: Out-of-Distribution Detection for Safety Assurance of AI and Autonomous Systems
- arxiv url: http://arxiv.org/abs/2510.21254v1
- Date: Fri, 24 Oct 2025 08:38:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 09:00:15.415801
- Title: Out-of-Distribution Detection for Safety Assurance of AI and Autonomous Systems
- Title(参考訳): AIと自律システムの安全性保証のためのアウト・オブ・ディストリビューション検出
- Authors: Victoria J. Hodge, Colin Paterson, Ibrahim Habli,
- Abstract要約: 自律システムの安全性を厳格に実証することは、その採用の責任を負う上で重要である。
OOD検出は研究・開発・安全工学のコミュニティから注目を集めている。
自律システムにおける安全保証の文脈におけるOOD検出手法の総合的な分析を行った。
- 参考スコア(独自算出の注目度): 2.28126966226433
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The operational capabilities and application domains of AI-enabled autonomous systems have expanded significantly in recent years due to advances in robotics and machine learning (ML). Demonstrating the safety of autonomous systems rigorously is critical for their responsible adoption but it is challenging as it requires robust methodologies that can handle novel and uncertain situations throughout the system lifecycle, including detecting out-of-distribution (OoD) data. Thus, OOD detection is receiving increased attention from the research, development and safety engineering communities. This comprehensive review analyses OOD detection techniques within the context of safety assurance for autonomous systems, in particular in safety-critical domains. We begin by defining the relevant concepts, investigating what causes OOD and exploring the factors which make the safety assurance of autonomous systems and OOD detection challenging. Our review identifies a range of techniques which can be used throughout the ML development lifecycle and we suggest areas within the lifecycle in which they may be used to support safety assurance arguments. We discuss a number of caveats that system and safety engineers must be aware of when integrating OOD detection into system lifecycles. We conclude by outlining the challenges and future work necessary for the safe development and operation of autonomous systems across a range of domains and applications.
- Abstract(参考訳): 近年、ロボット工学や機械学習(ML)の進歩により、AI対応自律システムの運用能力とアプリケーション領域は大幅に拡大している。
自律システムの安全性を厳格に実証することは、その責任を負う上で重要であるが、OoD(out-of-distribution)データの検出を含む、システムライフサイクル全体を通して、新規で不確実な状況を扱うことのできる堅牢な方法論を必要とするため、難しい。
このように、OOD検出は研究・開発・安全工学のコミュニティから注目を集めている。
本総説では, 自律システム, 特に安全クリティカル領域における安全保証の文脈におけるOOD検出技術について概説する。
我々は、関連する概念を定義し、OODの原因を調査し、自律システムの安全保証とOOD検出を困難にする要因を探ることから始める。
本レビューでは,ML開発ライフサイクルを通じて使用可能なさまざまなテクニックを特定し,安全保証の議論を支援するために使用可能なライフサイクル内の領域を提案する。
我々は、システムライフサイクルにOOD検出を統合する際に、システムと安全エンジニアが認識しなければならない多くの注意点について論じる。
我々は、さまざまなドメインやアプリケーションにわたる自律システムの安全な開発と運用に必要な課題と今後の作業の概要をまとめて結論付けます。
関連論文リスト
- A Verification Methodology for Safety Assurance of Robotic Autonomous Systems [0.1962656580942496]
本稿では,自律型農業ロボットの安全性保証のための検証ワークフローを提案する。
コンセプトスタディから設計、実行時の検証に至るまで、開発ライフサイクル全体をカバーする。
提案手法は, 安全クリティカルな特性を検証し, 設計問題の早期発見を容易にするために有効に利用できることが示唆された。
論文 参考訳(メタデータ) (2025-06-24T13:39:51Z) - Towards provable probabilistic safety for scalable embodied AI systems [79.31011047593492]
エンボディードAIシステムは、様々なアプリケーションでますます普及している。
複雑な運用環境での安全性確保は依然として大きな課題である。
このパースペクティブは、安全で大規模に実施されたAIシステムを安全クリティカルなアプリケーションに採用するための道筋を提供する。
論文 参考訳(メタデータ) (2025-06-05T15:46:25Z) - Open Problems in Machine Unlearning for AI Safety [61.43515658834902]
特定の種類の知識を選択的に忘れたり、抑圧したりするマシンアンラーニングは、プライバシとデータ削除タスクの約束を示している。
本稿では,アンラーニングがAI安全性の包括的ソリューションとして機能することを防止するための重要な制約を特定する。
論文 参考訳(メタデータ) (2025-01-09T03:59:10Z) - Landscape of AI safety concerns -- A methodology to support safety assurance for AI-based autonomous systems [0.0]
AIは重要な技術として登場し、さまざまなアプリケーションにまたがる進歩を加速している。
AIコンポーネントを組み込んだシステムの安全性を確保するという課題は、極めて重要である。
本稿では,AIシステムにおける安全保証事例作成を支援する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-12-18T16:38:16Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳(メタデータ) (2024-08-08T13:19:37Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳(メタデータ) (2024-05-10T17:38:32Z) - Security Challenges in Autonomous Systems Design [1.864621482724548]
人間のコントロールから独立すると、このようなシステムのサイバーセキュリティはさらに重要になる。
人間のコントロールから独立すると、このようなシステムのサイバーセキュリティはさらに重要になる。
本稿では,技術の現状を徹底的に議論し,新たなセキュリティ課題を特定し,研究の方向性を提案する。
論文 参考訳(メタデータ) (2023-11-05T09:17:39Z) - Simulation-based Safety Assurance for an AVP System incorporating
Learning-Enabled Components [0.6526824510982802]
テスト、検証、検証 AD/ADASセーフティクリティカルなアプリケーションが大きな課題のひとつとして残っています。
安全クリティカルな学習可能システムの検証と検証を目的としたシミュレーションベースの開発プラットフォームについて説明する。
論文 参考訳(メタデータ) (2023-09-28T09:00:31Z) - Leveraging Traceability to Integrate Safety Analysis Artifacts into the
Software Development Process [51.42800587382228]
安全保証ケース(SAC)は、システムの進化中に維持することが困難である。
本稿では,ソフトウェアトレーサビリティを活用して,関連するシステムアーチファクトを安全解析モデルに接続する手法を提案する。
安全ステークホルダーがシステム変更が安全性に与える影響を分析するのに役立つように、システム変更の合理性を設計する。
論文 参考訳(メタデータ) (2023-07-14T16:03:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。