論文の概要: System Safety and Artificial Intelligence
- arxiv url: http://arxiv.org/abs/2202.09292v1
- Date: Fri, 18 Feb 2022 16:37:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-21 14:32:23.787853
- Title: System Safety and Artificial Intelligence
- Title（参考訳）: システム安全性と人工知能
- Authors: Roel I.J. Dobbe
- Abstract要約: 社会的領域にまたがるAIの新たな応用には、新たなハザードが伴う。
システム安全の分野は、安全クリティカルシステムにおける事故や危害に対処してきた。
この章はシステムの安全性の先駆者であるナンシー・リーブソンに敬意を表しています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This chapter formulates seven lessons for preventing harm in artificial
intelligence (AI) systems based on insights from the field of system safety for
software-based automation in safety-critical domains. New applications of AI
across societal domains and public organizations and infrastructures come with
new hazards, which lead to new forms of harm, both grave and pernicious. The
text addresses the lack of consensus for diagnosing and eliminating new AI
system hazards. For decades, the field of system safety has dealt with
accidents and harm in safety-critical systems governed by varying degrees of
software-based automation and decision-making. This field embraces the core
assumption of systems and control that AI systems cannot be safeguarded by
technical design choices on the model or algorithm alone, instead requiring an
end-to-end hazard analysis and design frame that includes the context of use,
impacted stakeholders and the formal and informal institutional environment in
which the system operates. Safety and other values are then inherently
socio-technical and emergent system properties that require design and control
measures to instantiate these across the technical, social and institutional
components of a system. This chapter honors system safety pioneer Nancy
Leveson, by situating her core lessons for today's AI system safety challenges.
For every lesson, concrete tools are offered for rethinking and reorganizing
the safety management of AI systems, both in design and governance. This
history tells us that effective AI safety management requires transdisciplinary
approaches and a shared language that allows involvement of all levels of
society.
- Abstract（参考訳）: この章は、安全クリティカルドメインにおけるソフトウェアベースの自動化のためのシステム安全の分野からの洞察に基づいて、人工知能(AI)システムの害を防ぐための7つの教訓を定式化する。
社会的なドメインや公共組織、インフラにまたがるaiの新たな応用には、新たな危険が伴う。
このテキストは、新しいaiシステム障害の診断と排除に関する合意の欠如に対処している。
何十年もの間、システム安全の分野は、さまざまなソフトウェアベースの自動化と意思決定によって制御される安全クリティカルなシステムにおける事故と損害を扱ってきた。
この分野は、システムの中核的な前提を受け入れ、AIシステムはモデルやアルゴリズムの技術的な設計選択によって保護されることができない、という制御を、使用状況、影響のある利害関係者、システムが運用する形式的で非公式な制度環境を含むエンドツーエンドのハザード分析と設計フレームを必要とする。
安全とその他の価値は本質的に社会技術的で創発的なシステム特性であり、システムの技術的、社会的、組織的要素をインスタンス化する設計と制御の手段を必要とする。
この章はシステム安全の先駆者であるナンシー・レヴェソンを称え、今日のaiシステム安全課題の核となる教訓を振り返るものである。
すべてのレッスンにおいて、デザインとガバナンスの両方において、aiシステムの安全管理を再考し、再編成するための具体的なツールが提供される。
この歴史は、効果的なAI安全管理には、あらゆるレベルの社会への関与を可能にする、学際的なアプローチと共通言語が必要であることを教えてくれます。
関連論文リスト
- From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems [2.226040060318401]
システム理論プロセス分析(STPA)をAIの操作と開発プロセスの解析に応用する。
我々は、機械学習アルゴリズムに依存したシステムと、3つのケーススタディに焦点をあてる。
私たちは、AIシステムに適したいくつかの適応があるにもかかわらず、anAを実行するための重要な概念とステップが容易に適用できることに気付きました。
論文 参考訳（メタデータ） (2024-10-29T20:43:18Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - A Cybersecurity Risk Analysis Framework for Systems with Artificial
Intelligence Components [0.0]
欧州連合人工知能法、NIST人工知能リスク管理フレームワーク、および関連する規範の導入は、人工知能コンポーネントを持つシステムを評価するために、新しいリスク分析アプローチをよりよく理解し実装することを要求する。
本稿では,このようなシステムの評価を支援するサイバーセキュリティリスク分析フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-03T09:06:39Z) - Security Challenges in Autonomous Systems Design [1.864621482724548]
人間のコントロールから独立すると、このようなシステムのサイバーセキュリティはさらに重要になる。
人間のコントロールから独立すると、このようなシステムのサイバーセキュリティはさらに重要になる。
本稿では,技術の現状を徹底的に議論し,新たなセキュリティ課題を特定し,研究の方向性を提案する。
論文 参考訳（メタデータ） (2023-11-05T09:17:39Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - Deep Learning Safety Concerns in Automated Driving Perception [43.026485214492105]
本稿では、クロスファンクショナルなチームが共同で関心事に対処できるようにするとともに、理解を深めるための追加の分類を紹介します。
近年のディープラーニング分野の進歩と認識のためのディープニューラルネットワーク(DNN)の性能向上により、自動走行(AD)システムへの需要が高まっている。
論文 参考訳（メタデータ） (2023-09-07T15:25:47Z) - Leveraging Traceability to Integrate Safety Analysis Artifacts into the
Software Development Process [51.42800587382228]
安全保証ケース(SAC)は、システムの進化中に維持することが困難である。
本稿では,ソフトウェアトレーサビリティを活用して,関連するシステムアーチファクトを安全解析モデルに接続する手法を提案する。
安全ステークホルダーがシステム変更が安全性に与える影響を分析するのに役立つように、システム変更の合理性を設計する。
論文 参考訳（メタデータ） (2023-07-14T16:03:27Z) - Trustworthy AI Inference Systems: An Industry Research View [58.000323504158054]
我々は、信頼できるAI推論システムの設計、展開、運用にアプローチするための業界調査ビューを提供する。
信頼された実行環境を用いたAIシステムの機会と課題を強調します。
我々は,産業,アカデミック,政府研究者のグローバルな集団的注意を必要とする,さらなる発展の分野を概説する。
論文 参考訳（メタデータ） (2020-08-10T23:05:55Z) - Towards an Interface Description Template for AI-enabled Systems [77.34726150561087]
再利用(Reuse)は、システムアーキテクチャを既存のコンポーネントでインスタンス化しようとする、一般的なシステムアーキテクチャのアプローチである。
現在、コンポーネントが当初目的としていたものと異なるシステムで運用する可搬性を評価するために必要な情報の選択をガイドするフレームワークは存在しない。
我々は、AI対応コンポーネントの主情報をキャプチャするインターフェイス記述テンプレートの確立に向けて、現在進行中の作業について述べる。
論文 参考訳（メタデータ） (2020-07-13T20:30:26Z) - Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable
Claims [59.64274607533249]
AI開発者は、責任を負うことのできる検証可能な主張をする必要がある。
このレポートは、さまざまな利害関係者がAIシステムに関するクレームの妥当性を改善するための様々なステップを示唆している。
我々は、この目的のための10のメカニズム、すなわち、組織、ソフトウェア、ハードウェアを分析し、それらのメカニズムの実装、探索、改善を目的とした推奨を行う。
論文 参考訳（メタデータ） (2020-04-15T17:15:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。