論文の概要: Sustaining AI safety: Control-theoretic external impossibility, intrinsic necessity, and structural requirements

• arxiv url: http://arxiv.org/abs/2605.12963v1
• Date: Wed, 13 May 2026 03:56:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.795632
• Title: Sustaining AI safety: Control-theoretic external impossibility, intrinsic necessity, and structural requirements
• Title（参考訳）: AIの安全性の維持:制御理論の外的不合理性、本質的な必要性、構造的要件
• Authors: James M. Mazzu,
• Abstract要約: 本稿では、制御理論を用いて、外部に強制された安全維持戦略が成功するかどうかを構造レベルで明らかにする。 明確な条件付きの結果を導出し、どの安全維持戦略が除外され、残りの戦略が満足しなければならないかを識別する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As AI systems become increasingly capable, safety strategies must be evaluated not only by how much they reduce present risk, but by whether they could sustain safety once external control can no longer reliably constrain system behavior. This paper addresses that problem by using control theory to clarify, at a structural level, whether externally enforced safety-sustaining strategies can succeed and, if not, what any alternative strategy would have to satisfy in order to be viable. It establishes two main results. First, under explicit premises including a reachability condition, it proves a class-wide external impossibility result: once the system's effects exceed what bounded external control can counteract, no strategy that depends in any degree on continued external enforcement can sustain AI safety. This failure is structural across the entire externally enforced class rather than contingent on any particular strategy. Second, it establishes a conditional class-level necessity result: if at least one candidate safety-sustaining strategy remains after that elimination, then all such remaining strategies must be intrinsic. It then states four structural requirements for viability: safety may not depend on continued external enforcement; the system's terminal objective must be safety-compatible when first formed; that objective must remain stable under self-modification; and safety must continue to be preserved as capability grows. The paper does not propose a complete strategy for sustaining AI safety. Its contribution is to give formal structure to a widely held concern about the limits of external control. It does so by deriving explicit conditional results that identify which safety-sustaining strategies are ruled out and what any remaining strategies must satisfy.
• Abstract（参考訳）: AIシステムがますます有能になるにつれて、現在のリスクをどれだけ削減するかだけでなく、外部制御がシステムの振る舞いを確実に制限できないようになれば、安全を維持することができるかどうかによって、安全戦略を評価する必要があります。 本稿では、制御理論を用いて、外部から強制された安全維持戦略が成功し得るかどうか、そして、そうでなければ、実現するためにどのような代替戦略を満足するかを、構造レベルで明らかにする。 主な成果は2つある。 まず、到達可能性条件を含む明示的な前提の下では、クラス全体の外部不可視性の結果が証明される: システムが境界付けられた外部制御を克服すれば、継続的な外部執行に依存した戦略がAIの安全性を維持できる。 この失敗は、特定の戦略に固執するのではなく、外部に強制されたクラス全体に構造的です。 第二に、条件付きクラスレベルの必要条件を定め、もし少なくとも1つの候補の安全維持戦略がその排除後に残っているなら、残りの戦略は全て本質的でなければならない。 安全は、継続的な外部の執行に依存しない可能性があり、システムの最終目的は、最初に形成されたときに安全互換でなければならないこと、その目的は、自己修正の下で安定し続けなければならないこと、そして能力が増大するにつれて安全は維持され続けること、である。 論文は、AIの安全性を維持するための完全な戦略を提案していない。 その貢献は、外部制御の限界について広く保持されている懸念に形式的な構造を与えることである。 明確な条件付きの結果を導出し、どの安全維持戦略が除外され、残りの戦略が満足しなければならないかを識別する。

関連論文リスト

• Hierarchical Reinforcement Learning with Runtime Safety Shielding for Power Grid Operation [0.0]
  本稿では,電力グリッド運用のための安全制約付き階層制御フレームワークを提案する。 高レベルの強化学習ポリシは抽象的な制御アクションを提案し、決定論的ランタイム安全シールドは安全でないアクションをフィルタリングする。 その結果, 平坦な強化学習政策はストレス下で脆弱であり, 安全性のみの手法は過度に保守的であることがわかった。
  論文  参考訳（メタデータ） (2026-04-15T16:11:10Z)
• Conformal Reachability for Safe Control in Unknown Environments [29.315278038378835]
  未知の力学系に対する確率的検証フレームワークを開発した。 共形予測を用いて,各段階における未知のダイナミクスに対する有効不確実区間を求める。 また,計画の地平線を最大化しつつ,名目報酬を最適化する制御ポリシーの学習手法も開発している。
  論文  参考訳（メタデータ） (2026-02-03T18:01:38Z)
• PoSafeNet: Safe Learning with Poset-Structured Neural Nets [49.854863600271614]
  既存のアプローチは、しばしば複数の安全制約を均一に、または固定された優先命令によって強制し、実現不可能と不安定な振る舞いを引き起こす。 我々は、この設定を擬似構造的安全性として定式化し、安全制約を部分的に順序づけられた集合としてモデル化し、安全構成を政策クラスの構造的特性として扱う。 この定式化に基づいて、逐次クローズドフォームプロジェクションを介して安全性を強制する、識別可能な神経安全層であるPoSafeNetを提案する。
  論文  参考訳（メタデータ） (2026-01-29T22:03:32Z)
• Robust Driving Control for Autonomous Vehicles: An Intelligent General-sum Constrained Adversarial Reinforcement Learning Approach [56.34189898996741]
  本稿では,戦略目標の敵とロバストな駆動エージェントからなる,新しいロバストな自律運転手法を提案する。 IGCARLは、最先端の手法よりも成功率を少なくとも27.9%向上させ、敵の攻撃に対して優れた堅牢性を示す。
  論文  参考訳（メタデータ） (2025-10-10T06:21:36Z)
• Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
  本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。 我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。 私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
  論文  参考訳（メタデータ） (2025-08-12T09:42:56Z)
• Technical Risks of (Lethal) Autonomous Weapons Systems [0.0]
  自律兵器システム(L)AWSの自律性と適応性は、前例のない運用能力を約束する。 しかし、彼らはまた、国際安全保障における制御、説明責任、安定性の原則に挑戦する深刻なリスクも導入している。 このレポートでは、(L)AWSデプロイメントに関連する重要な技術的リスクを概説し、予測不能、透明性の欠如、運用上の信頼性の欠如を強調している。
  論文  参考訳（メタデータ） (2025-02-14T14:09:43Z)
• Absolute State-wise Constrained Policy Optimization: High-Probability State-wise Constraints Satisfaction [20.00178731842195]
  既存の安全な強化学習(RL)手法は、期待する状態の制約を強制するか、強い仮定で厳格な状態の制約を強制するのみである。 本稿では,制約システムに対する高確率な状態満足度を保証するための,新しい汎用ポリシー探索アルゴリズムを提案する。 この結果から, ASCPO は, 連続制御タスクにおける状態制約処理において, 既存の手法よりも有意に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-10-02T03:43:33Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)
• Towards Safe Continuing Task Reinforcement Learning [21.390201009230246]
  再起動を必要とせずに継続するタスク設定で動作可能なアルゴリズムを提案する。 本手法は,安全な探索を通じて安全な政策を学習する上で,提案手法の能力を示す数値例で評価する。
  論文  参考訳（メタデータ） (2021-02-24T22:12:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。