論文の概要: Limits of Safe AI Deployment: Differentiating Oversight and Control
- arxiv url: http://arxiv.org/abs/2507.03525v1
- Date: Fri, 04 Jul 2025 12:22:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 15:46:34.762166
- Title: Limits of Safe AI Deployment: Differentiating Oversight and Control
- Title（参考訳）: 安全なAIデプロイメントの限界 - 監視と制御の差別化
- Authors: David Manheim, Aidan Homewood,
- Abstract要約: 監視と管理(まとめると、監督)は、AIシステムが説明責任があり、信頼性があり、ガバナンスと管理の要求を満たすことができることを保証するための鍵となるレバーとしてしばしば呼び出される。
これらの概念は、しばしば、学術的・政策的な議論において混ざり合った、あるいは不十分に区別され、有意義な人間の監督下にあるべきシステムの設計や評価の努力を損なう。
本稿では, 各メカニズムが可能である条件, 不足している状況, 実際に意味のあるものにするために何が必要なのかを記述し, 理論的にインフォームドされているが, 政策を基礎とした枠組みを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Oversight and control (collectively, supervision) are often invoked as key levers for ensuring that AI systems are accountable, reliable, and able to fulfill governance and management requirements. However, the concepts are frequently conflated or insufficiently distinguished in academic and policy discourse, undermining efforts to design or evaluate systems that should remain under meaningful human supervision. This paper undertakes a targeted critical review of literature on supervision outside of AI, along with a brief summary of past work on the topic related to AI. We then differentiate control as being ex-ante or real-time, and operational rather than policy or governance. In contrast, oversight is either a policy and governance function, or is ex-post. We suggest that control aims to prevent failures. In contrast, oversight often focuses on detection, remediation, or incentives for future prevention; all preventative oversight strategies nonetheless necessitate control. Building on this foundation, we make three contributions. First, we propose a theoretically-informed yet policy-grounded framework that articulates the conditions under which each mechanism is possible, where they fall short, and what is required to make them meaningful in practice. Second, we outline how supervision methods should be documented and integrated into risk management, and drawing on the Microsoft Responsible AI Maturity Model, we outline a maturity model for AI supervision. Third, we explicitly highlight some boundaries of these mechanisms, including where they apply, where they fail, and where it is clear that no existing methods suffice. This foregrounds the question of whether meaningful supervision is possible in a given deployment context, and can support regulators, auditors, and practitioners in identifying both present limitations and the need for new conceptual and technical advances.
- Abstract（参考訳）: 監視と管理(まとめると、監督)は、AIシステムが説明責任があり、信頼性があり、ガバナンスと管理の要求を満たすことができることを保証するための鍵となるレバーとしてしばしば呼び出される。
しかし、これらの概念は学術的・政策的な議論においてしばしば混ざりあうか、あるいは不十分に区別され、有意義な人間の監督下にあるべきシステムの設計や評価の努力を損なう。
本稿は、AI以外の分野における文献の監視に関する批判的レビューと、AI関連のトピックに関する過去の研究の概要をまとめたものである。
そして、コントロールを、ポリシーやガバナンスよりも、前任者またはリアルタイムであり、運用するものとして区別します。
対照的に、監視はポリシーとガバナンスの関数か、あるいはポスト前の関数である。
制御は失敗を防ぐことを目的としている。
対照的に、監視は、しばしば、将来の予防のための検出、修復、インセンティブに焦点を当てる。
この財団を基盤として、私たちは3つのコントリビューションを行います。
まず, 各メカニズムが可能である条件, 不足している状況, 実際に意味のあるものにするために何が必要なのかを記述し, 理論的にインフォームドされているが, 政策を基礎とした枠組みを提案する。
第2に、監視方法をドキュメント化し、リスク管理に統合する方法について概説し、Microsoft Responsible AI成熟度モデルに基づいて、AI監視の成熟度モデルを概説する。
第3に、これらのメカニズムのいくつかのバウンダリを明確に強調します。
このことは、ある配置状況において有意義な監督が可能かどうかという疑問を先導し、規制当局、監査官、実践者が現在の制限と新しい概念的および技術的進歩の必要性の両方を識別するのを支援することができる。
関連論文リスト
- Out of Control -- Why Alignment Needs Formal Control Theory (and an Alignment Control Stack) [0.6526824510982799]
このポジションペーパーでは、形式的最適制御理論はAIアライメント研究の中心となるべきであると論じている。
それは、一般的なAIの安全性とセキュリティのアプローチとは異なる視点を提供する。
論文 参考訳（メタデータ） (2025-06-21T22:45:19Z) - Rigor in AI: Doing Rigorous AI Work Requires a Broader, Responsible AI-Informed Conception of Rigor [83.99510317617694]
我々は、厳格なAI研究と実践が持つべきものに対するより広範な概念が必要とされると論じている。
我々は,AIコミュニティの作業に関する対話に有用な言語とフレームワークを提供することを目標としている。
論文 参考訳（メタデータ） (2025-06-17T15:44:41Z) - Explainable AI Systems Must Be Contestable: Here's How to Make It Happen [2.5875936082584623]
本稿では、説明可能なAIにおける競合性の最初の厳密な形式的定義について述べる。
我々は、ヒューマン中心のインターフェース、技術プロセス、組織アーキテクチャにまたがる、設計やポストホックメカニズムのモジュール化されたフレームワークを紹介します。
私たちの作業は実践者に、真のリコースと説明責任をAIシステムに組み込むためのツールを提供しています。
論文 参考訳（メタデータ） (2025-06-02T13:32:05Z) - Watermarking Without Standards Is Not AI Governance [46.71493672772134]
現在の実装は、効果的な監視を提供するのではなく、象徴的なコンプライアンスとして機能するリスクがある、と私たちは主張する。
本稿では,技術標準,監査インフラストラクチャ,実施機構を含む3層フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-27T18:10:04Z) - Decoding the Black Box: Integrating Moral Imagination with Technical AI Governance [0.0]
我々は、防衛、金融、医療、教育といった高度な領域に展開するAI技術を規制するために設計された包括的なフレームワークを開発する。
本手法では,厳密な技術的分析,定量的リスク評価,規範的評価を併用して,システム的脆弱性を暴露する。
論文 参考訳（メタデータ） (2025-03-09T03:11:32Z) - Using AI Alignment Theory to understand the potential pitfalls of regulatory frameworks [55.2480439325792]
本稿では、欧州連合の人工知能法(EU AI法)を批判的に検討する。
人工知能における技術的アライメントの潜在的な落とし穴に焦点を当てたアライメント理論(AT)研究からの洞察を利用する。
これらの概念をEU AI Actに適用すると、潜在的な脆弱性と規制を改善するための領域が明らかになる。
論文 参考訳（メタデータ） (2024-10-10T17:38:38Z) - The Artificial Intelligence Act: critical overview [0.0]
この記事では、最近承認された人工知能法を概観する。
これはまず、2024/1689年のEU(Regulation)の主要な構造、目的、アプローチを示すことから始まる。
テキストは、全体的なフレームワークが適切かつバランスが取れたとしても、アプローチは非常に複雑であり、それ自体の目的を損なうリスクがある、と結論付けている。
論文 参考訳（メタデータ） (2024-08-30T21:38:02Z) - Open Problems in Technical AI Governance [102.19067750759471]
テクニカルAIガバナンス(Technical AI Governance)は、AIの効果的なガバナンスを支援するための技術分析とツールである。
本論文は、AIガバナンスへの貢献を目指す技術研究者や研究資金提供者のためのリソースとして意図されている。
論文 参考訳（メタデータ） (2024-07-20T21:13:56Z) - Generative AI Needs Adaptive Governance [0.0]
ジェネレーティブAIは、ガバナンス、信頼、ヒューマンエージェンシーの概念に挑戦する。
本稿では,ジェネレーティブAIが適応的ガバナンスを求めていることを論じる。
我々は、アクター、ロール、および共有およびアクター固有のポリシー活動の概要を概説する。
論文 参考訳（メタデータ） (2024-06-06T23:47:14Z) - Value Functions are Control Barrier Functions: Verification of Safe
Policies using Control Theory [46.85103495283037]
本稿では,制御理論から学習値関数への検証手法の適用方法を提案する。
我々は値関数と制御障壁関数の間の関係を確立する原定理を定式化する。
我々の研究は、RLベースの制御システムの汎用的でスケーラブルで検証可能な設計のための公式なフレームワークに向けた重要な一歩である。
論文 参考訳（メタデータ） (2023-06-06T21:41:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。