論文の概要: STAMP/STPA informed characterization of Factors Leading to Loss of Control in AI Systems
- arxiv url: http://arxiv.org/abs/2512.17600v1
- Date: Fri, 19 Dec 2025 14:07:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-22 19:25:54.419777
- Title: STAMP/STPA informed characterization of Factors Leading to Loss of Control in AI Systems
- Title（参考訳）: AIシステムにおける制御損失要因のSTAMP/STPAによる評価
- Authors: Steve Barrett, Anna Bruvere, Sean P. Fillingham, Catherine Rhodes, Stefano Vergani,
- Abstract要約: コントロールの喪失を議論し、特徴付けるための、より構造化されたフレームワークの提供に着手しました。
我々は、この枠組みを用いて、AIを含む社会技術システムの安全な運用に責任を持つ人々を支援し、制御の喪失につながる因果的要因を特定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A major concern amongst AI safety practitioners is the possibility of loss of control, whereby humans lose the ability to exert control over increasingly advanced AI systems. The range of concerns is wide, spanning current day risks to future existential risks, and a range of loss of control pathways from rapid AI self-exfiltration scenarios to more gradual disempowerment scenarios. In this work we set out to firstly, provide a more structured framework for discussing and characterizing loss of control and secondly, to use this framework to assist those responsible for the safe operation of AI-containing socio-technical systems to identify causal factors leading to loss of control. We explore how these two needs can be better met by making use of a methodology developed within the safety-critical systems community known as STAMP and its associated hazard analysis technique of STPA. We select the STAMP methodology primarily because it is based around a world-view that socio-technical systems can be functionally modeled as control structures, and that safety issues arise when there is a loss of control in these structures.
- Abstract（参考訳）: AIの安全性実践者の大きな関心事は、人間がより高度なAIシステムに対して制御を行う能力を失う可能性である。
懸念の範囲は広く、現在のリスクから将来的な存在リスク、迅速なAI自己拡散シナリオからより段階的な分散シナリオまで、コントロールパスの喪失の範囲にまたがる。
本研究では、まず、制御の喪失を議論し特徴付けるためのより構造化されたフレームワークを提供し、次に、このフレームワークを使用してAIを含む社会技術システムの安全な運用に責任を持つ人々を支援し、制御の喪失につながる因果的要因を特定する。
我々は,STAMPとして知られる安全クリティカルなシステムコミュニティ内で開発された方法論と,STPAのハザード分析技術を用いて,これらの2つのニーズをよりよく満たす方法について検討する。
本手法は,社会技術システムが制御構造として機能的にモデル化可能であり,これらの構造に制御が失われる場合に安全上の問題が生じるという世界観に基づいて,STAMP手法を選択する。
関連論文リスト
- A New Perspective On AI Safety Through Control Theory Methodologies [16.51699616065134]
AIは新たなレベルの自律性を達成することを約束するが、安全保証の欠如によって妨げられている。
本稿では、基礎となるデータ生成プロセスの学際的解釈に基づいて、AI安全性に関する新たな視点を概説する。
新たな視点は、データコントロールとも呼ばれ、AIエンジニアリングを刺激し、既存の安全分析と保証を活用することを目的としている。
論文 参考訳（メタデータ） (2025-06-30T10:26:59Z) - Systematic Hazard Analysis for Frontier AI using STPA [0.0]
現在、フロンティアAI企業は、ハザードを特定し分析するための構造化アプローチの詳細を記述していない。
システム理論プロセス分析(Systems-Theoretic Process Analysis)は、複雑なシステムがいかに危険に晒されるかを特定するための体系的な方法論である。
我々は、フロンティアAIシステムにおいて、スコープを広げ、トレーサビリティを向上し、安全性保証の堅牢性を強化する能力を評価する。
論文 参考訳（メタデータ） (2025-06-02T15:28:34Z) - Adapting Probabilistic Risk Assessment for AI [0.0]
汎用人工知能(AI)システムは、緊急リスク管理の課題を示す。
現在の手法は、しばしば選択的なテストとリスク優先順位に関する未文書の仮定に依存します。
本稿では,AIフレームワークの確率的リスクアセスメント(PRA)を紹介する。
論文 参考訳（メタデータ） (2025-04-25T17:59:14Z) - An Approach to Technical AGI Safety and Security [72.83728459135101]
我々は、人類を著しく傷つけるのに十分な害のリスクに対処するアプローチを開発する。
私たちは、誤用や悪用に対する技術的なアプローチに重点を置いています。
これらの成分を組み合わせてAGIシステムの安全性を実現する方法について概説する。
論文 参考訳（メタデータ） (2025-04-02T15:59:31Z) - From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems [2.226040060318401]
システム理論プロセス分析(STPA)をAIの操作と開発プロセスの解析に応用する。
我々は、機械学習アルゴリズムに依存したシステムと、3つのケーススタディに焦点をあてる。
私たちは、AIシステムに適したいくつかの適応があるにもかかわらず、anAを実行するための重要な概念とステップが容易に適用できることに気付きました。
論文 参考訳（メタデータ） (2024-10-29T20:43:18Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - Leveraging Traceability to Integrate Safety Analysis Artifacts into the
Software Development Process [51.42800587382228]
安全保証ケース(SAC)は、システムの進化中に維持することが困難である。
本稿では,ソフトウェアトレーサビリティを活用して,関連するシステムアーチファクトを安全解析モデルに接続する手法を提案する。
安全ステークホルダーがシステム変更が安全性に与える影響を分析するのに役立つように、システム変更の合理性を設計する。
論文 参考訳（メタデータ） (2023-07-14T16:03:27Z) - Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。
これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
論文 参考訳（メタデータ） (2022-08-23T05:02:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。