論文の概要: From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems
- arxiv url: http://arxiv.org/abs/2410.22526v1
- Date: Tue, 29 Oct 2024 20:43:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:26:56.376093
- Title: From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems
- Title（参考訳）: サイロからシステムへ:AIシステムのためのプロセス指向のハザード分析
- Authors: Shalaleh Rismani, Roel Dobbe, AJung Moon,
- Abstract要約: システム理論プロセス分析(STPA)をAIの操作と開発プロセスの解析に応用する。
我々は、機械学習アルゴリズムに依存したシステムと、3つのケーススタディに焦点をあてる。
私たちは、AIシステムに適したいくつかの適応があるにもかかわらず、anAを実行するための重要な概念とステップが容易に適用できることに気付きました。
- 参考スコア（独自算出の注目度）: 2.226040060318401
- License:
- Abstract: To effectively address potential harms from AI systems, it is essential to identify and mitigate system-level hazards. Current analysis approaches focus on individual components of an AI system, like training data or models, in isolation, overlooking hazards from component interactions or how they are situated within a company's development process. To this end, we draw from the established field of system safety, which considers safety as an emergent property of the entire system, not just its components. In this work, we translate System Theoretic Process Analysis (STPA) - a recognized system safety framework - for analyzing AI operation and development processes. We focus on systems that rely on machine learning algorithms and conducted STPA on three case studies involving linear regression, reinforcement learning, and transformer-based generative models. Our analysis explored how STPA's control and system-theoretic perspectives apply to AI systems and whether unique AI traits - such as model opacity, capability uncertainty, and output complexity - necessitate significant modifications to the framework. We find that the key concepts and steps of conducting an STPA readily apply, albeit with a few adaptations tailored for AI systems. We present the Process-oriented Hazard Analysis for AI Systems (PHASE) as a guideline that adapts STPA concepts for AI, making STPA-based hazard analysis more accessible. PHASE enables four key affordances for analysts responsible for managing AI system harms: 1) detection of hazards at the systems level, including those from accumulation of disparate issues; 2) explicit acknowledgment of social factors contributing to experiences of algorithmic harms; 3) creation of traceable accountability chains between harms and those who can mitigate the harm; and 4) ongoing monitoring and mitigation of new hazards.
- Abstract（参考訳）: AIシステムの潜在的な害に効果的に対処するためには、システムレベルのハザードを特定し、緩和することが不可欠である。
現在の分析アプローチでは、トレーニングデータやモデルなど、AIシステムの個々のコンポーネントを分離して、コンポーネントのインタラクションからのハザードや、企業の開発プロセス内に位置する方法を見極めることに重点を置いています。
この目的のために,システム安全性の確立した分野から,安全はシステム全体の創発的特性であり,コンポーネントだけではなく,システム全体の創発的特性であると考える。
本研究では、AIの操作と開発プロセスを分析するためのシステム安全フレームワークSTPA(System Theoretic Process Analysis)を翻訳する。
機械学習アルゴリズムに頼り、線形回帰、強化学習、トランスフォーマーに基づく生成モデルを含む3つのケーススタディに基づいてSTPAを行った。
我々の分析では、STPAの制御とシステム理論の観点がAIシステムにどのように適用されるのか、また、モデル不透明性、能力の不確実性、出力複雑性といったユニークなAI特性が、フレームワークに重大な変更を必要とするかどうかを調べた。
私たちは、AIシステムに適したいくつかの適応があるにもかかわらず、STPAを実行するための重要な概念とステップが容易に適用できることに気付きました。
本稿では、プロセス指向型AIシステムのためのハザード分析(PHASE)を、STPAの概念をAIに適用するガイドラインとして提示し、STPAに基づくハザード分析をよりアクセスしやすくする。
PHASEは、AIシステム管理に責任を持つアナリストに4つの重要な余裕を提供する。
1)異質な問題の蓄積を含むシステムレベルでのハザードの検出
2 アルゴリズム害の経験に寄与する社会的要因の明示的認知
3)損害を軽減できる者と損害を軽減できる者との追跡可能な説明責任連鎖の作成
4) 新たな危険の監視と緩和が進行中である。
関連論文リスト
- EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する
AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。
本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
論文 参考訳（メタデータ） (2024-02-21T08:29:42Z) - A Cybersecurity Risk Analysis Framework for Systems with Artificial
Intelligence Components [0.0]
欧州連合人工知能法、NIST人工知能リスク管理フレームワーク、および関連する規範の導入は、人工知能コンポーネントを持つシステムを評価するために、新しいリスク分析アプローチをよりよく理解し実装することを要求する。
本稿では,このようなシステムの評価を支援するサイバーセキュリティリスク分析フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-03T09:06:39Z) - AI Hazard Management: A framework for the systematic management of root
causes for AI risks [0.0]
本稿ではAI Hazard Management(AIHM)フレームワークを紹介する。
AIのハザードを体系的に識別し、評価し、治療するための構造化されたプロセスを提供する。
総合的な最先端分析からAIハザードリストを構築する。
論文 参考訳（メタデータ） (2023-10-25T15:55:50Z) - Leveraging Traceability to Integrate Safety Analysis Artifacts into the
Software Development Process [51.42800587382228]
安全保証ケース(SAC)は、システムの進化中に維持することが困難である。
本稿では,ソフトウェアトレーサビリティを活用して,関連するシステムアーチファクトを安全解析モデルに接続する手法を提案する。
安全ステークホルダーがシステム変更が安全性に与える影響を分析するのに役立つように、システム変更の合理性を設計する。
論文 参考訳（メタデータ） (2023-07-14T16:03:27Z) - STPA for Learning-Enabled Systems: A Survey and A New Practice [12.665507596261266]
システム理論プロセス分析(System Theoretic Process Analysis、STPA)は、輸送、エネルギー、防衛を含む多くの産業セクターで使用されているハザード分析の体系的なアプローチである。
安全クリティカルシステムにおける機械学習(ML)の利用傾向は、学習可能システム(LES)へのSTPAの拡張の必要性につながっている。
我々は,31論文の体系的な調査を行い,これらを5つの視点から要約する(関心,研究対象,修正,デリバティブ,プロセスのモデル化)。
私たちはDeepSTPAを紹介します。DeepSTPAは、現状から欠落している2つの側面から、DeepSTPAを強化します。
論文 参考訳（メタデータ） (2023-02-21T10:43:51Z) - Liability regimes in the age of AI: a use-case driven analysis of the
burden of proof [1.7510020208193926]
人工知能(AI)を利用した新しいテクノロジーは、私たちの社会をより良く、破壊的に変革する可能性を秘めている。
しかし、安全と基本的権利の両方に潜在的なリスクをもたらす、これらの方法論の固有の特性に対する懸念が高まっている。
本稿では,これらの難易度を示す3つのケーススタディと,それらに到達するための方法論について述べる。
論文 参考訳（メタデータ） (2022-11-03T13:55:36Z) - System Safety and Artificial Intelligence [0.0]
社会的領域にまたがるAIの新たな応用には、新たなハザードが伴う。
システム安全の分野は、安全クリティカルシステムにおける事故や危害に対処してきた。
この章はシステムの安全性の先駆者であるナンシー・リーブソンに敬意を表しています。
論文 参考訳（メタデータ） (2022-02-18T16:37:54Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳（メタデータ） (2020-10-19T13:09:31Z) - Towards an Interface Description Template for AI-enabled Systems [77.34726150561087]
再利用(Reuse)は、システムアーキテクチャを既存のコンポーネントでインスタンス化しようとする、一般的なシステムアーキテクチャのアプローチである。
現在、コンポーネントが当初目的としていたものと異なるシステムで運用する可搬性を評価するために必要な情報の選択をガイドするフレームワークは存在しない。
我々は、AI対応コンポーネントの主情報をキャプチャするインターフェイス記述テンプレートの確立に向けて、現在進行中の作業について述べる。
論文 参考訳（メタデータ） (2020-07-13T20:30:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。