論文の概要: Where AI Assurance Might Go Wrong: Initial lessons from engineering of critical systems

• arxiv url: http://arxiv.org/abs/2502.03467v1
• Date: Tue, 07 Jan 2025 22:02:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-09 06:16:07.334722
• Title: Where AI Assurance Might Go Wrong: Initial lessons from engineering of critical systems
• Title（参考訳）: AI Assurance Might Go Wrong: クリティカルシステムのエンジニアリングからの最初の教訓
• Authors: Robin Bloomfield, John Rushby,
• Abstract要約: クリティカルシステムの観点からは、AIセーフティフレームワークの開発と実装をサポートする可能性がある。 システムとは何か?どのくらい良いのか? 我々は,アシュアランス2.0に基づく保証事例の活用を提唱し,決定の臨界性とシステムの臨界性を評価する意思決定を支援する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We draw on our experience working on system and software assurance and evaluation for systems important to society to summarise how safety engineering is performed in traditional critical systems, such as aircraft flight control. We analyse how this critical systems perspective might support the development and implementation of AI Safety Frameworks. We present the analysis in terms of: system engineering, safety and risk analysis, and decision analysis and support. We consider four key questions: What is the system? How good does it have to be? What is the impact of criticality on system development? and How much should we trust it? We identify topics worthy of further discussion. In particular, we are concerned that system boundaries are not broad enough, that the tolerability and nature of the risks are not sufficiently elaborated, and that the assurance methods lack theories that would allow behaviours to be adequately assured. We advocate the use of assurance cases based on Assurance 2.0 to support decision making in which the criticality of the decision as well as the criticality of the system are evaluated. We point out the orders of magnitude difference in confidence needed in critical rather than everyday systems and how everyday techniques do not scale in rigour. Finally we map our findings in detail to two of the questions posed by the FAISC organisers and we note that the engineering of critical systems has evolved through open and diverse discussion. We hope that topics identified here will support the post-FAISC dialogues.
• Abstract（参考訳）: 我々は,航空管制などの従来のクリティカルシステムにおいて,安全工学がいかに実施されているかを要約するために,社会にとって重要なシステムに対するシステムおよびソフトウェア保証と評価に取り組んできた経験を描いている。 我々は、このクリティカルシステムの観点からAIセーフティフレームワークの開発と実装をどのようにサポートするかを分析する。 本稿では,システム工学,安全・リスク分析,意思決定分析・支援の観点から分析を行う。 システムとは何か? どのくらい良いのか? システム開発における臨界の影響は? どのくらい信頼すべきなのか? さらなる議論に値するトピックを特定します。 特に、システムの境界が十分に広まっていないこと、リスクの耐久性と性質が十分に精巧でないこと、そして、アシュアランス法には行動が適切に保証される理論がないことを懸念している。 我々は,アシュアランス2.0に基づく保証事例の活用を提唱し,決定の臨界性とシステムの臨界性を評価する意思決定を支援する。 我々は、日常的なシステムよりも批判的に必要とされる信頼性の桁違いと、日々のテクニックが厳格にスケールしない方法について指摘する。 最後に、我々は、FAISCのオーガナイザが提起した2つの質問に、我々の調査結果を詳細にマッピングし、オープンで多様な議論を通じて、クリティカルシステムのエンジニアリングが進化したことを指摘します。 ここで特定されたトピックが、FAISC後の対話をサポートすることを願っている。

関連論文リスト

• Open Problems in Machine Unlearning for AI Safety [61.43515658834902]
  特定の種類の知識を選択的に忘れたり、抑圧したりするマシンアンラーニングは、プライバシとデータ削除タスクの約束を示している。 本稿では,アンラーニングがAI安全性の包括的ソリューションとして機能することを防止するための重要な制約を特定する。
  論文  参考訳（メタデータ） (2025-01-09T03:59:10Z)
• From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems [2.226040060318401]
  システム理論プロセス分析(STPA)をAIの操作と開発プロセスの解析に応用する。 我々は、機械学習アルゴリズムに依存したシステムと、3つのケーススタディに焦点をあてる。 私たちは、AIシステムに適したいくつかの適応があるにもかかわらず、anAを実行するための重要な概念とステップが容易に適用できることに気付きました。
  論文  参考訳（メタデータ） (2024-10-29T20:43:18Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
  我々は、AI安全性に対する一連のアプローチを紹介し、定義する。 これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。 これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
  論文  参考訳（メタデータ） (2024-05-10T17:38:32Z)
• ACCESS: Assurance Case Centric Engineering of Safety-critical Systems [9.388301205192082]
  保証ケースは、安全性やセキュリティなどの重要なシステム特性について、コミュニケーションし、信頼性を評価するために使用されます。 近年,システム保証活動の効率化と品質向上のために,モデルに基づくシステム保証アプローチが普及している。 モデルに基づくシステム保証ケースが異種工学的アーティファクトにどのように辿り着くかを示す。
  論文  参考訳（メタデータ） (2024-03-22T14:29:50Z)
• Safety Analysis of Autonomous Railway Systems: An Introduction to the SACRED Methodology [2.47737926497181]
  本稿では,自律システムの初期安全ケースを作成するための安全手法であるSACREDを紹介する。 SACREDの開発は、ベルリンで提案されたGoA-4ライトレールシステムによって動機付けられている。
  論文  参考訳（メタデータ） (2024-03-18T11:12:19Z)
• Leveraging Traceability to Integrate Safety Analysis Artifacts into the Software Development Process [51.42800587382228]
  安全保証ケース(SAC)は、システムの進化中に維持することが困難である。 本稿では,ソフトウェアトレーサビリティを活用して,関連するシステムアーチファクトを安全解析モデルに接続する手法を提案する。 安全ステークホルダーがシステム変更が安全性に与える影響を分析するのに役立つように、システム変更の合理性を設計する。
  論文  参考訳（メタデータ） (2023-07-14T16:03:27Z)
• X-Risk Analysis for AI Research [24.78742908726579]
  我々は、AI x-riskの分析方法のガイドを提供する。 まず、今日のシステムの安全性についてレビューする。 次に,今後のシステムの安全性に長期的影響を与える戦略について議論する。
  論文  参考訳（メタデータ） (2022-06-13T00:22:50Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)
• Towards robust sensing for Autonomous Vehicles: An adversarial perspective [82.83630604517249]
  結果として得られる決定が摂動に対して堅牢であることは、最も重要なことです。 敵対的摂動は、意図的に環境や感覚測定の修正を施したものである。 より安全なシステムの構築とデプロイには,センサーシステムの脆弱性を慎重に評価する必要がある。
  論文  参考訳（メタデータ） (2020-07-14T05:25:15Z)
• Steps Towards Value-Aligned Systems [0.0]
  AI/MLを含む)アルゴリズムによる意思決定アーティファクトは、私たちの意思決定エコシステムの確立され成長している部分です。 現在の文献は、個々のアーティファクトが社会的規範や期待にどのように違反するかの例でいっぱいです。 この議論は、社会技術システムにおける価値アライメントを評価するためのより構造化されたシステムレベルのアプローチを論じている。
  論文  参考訳（メタデータ） (2020-02-10T22:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。