論文の概要: Limits of Safe AI Deployment: Differentiating Oversight and Control
- arxiv url: http://arxiv.org/abs/2507.03525v2
- Date: Mon, 03 Nov 2025 07:38:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-04 20:19:58.469273
- Title: Limits of Safe AI Deployment: Differentiating Oversight and Control
- Title（参考訳）: 安全なAIデプロイメントの限界 - 監視と制御の差別化
- Authors: David Manheim, Aidan Homewood,
- Abstract要約: 「Human oversight」は、監視や制御といった重要な概念の曖昧さや矛盾した解釈を成すリスクである。
本稿では,AI以外の文献の監視を対象とする批判的レビューを行う。
コントロールは失敗を防ぐことを目的としており、監視は将来の予防のための検出、修復、インセンティブに焦点を当てている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Oversight and control, which we collectively call supervision, are often discussed as ways to ensure that AI systems are accountable, reliable, and able to fulfill governance and management requirements. However, the requirements for "human oversight" risk codifying vague or inconsistent interpretations of key concepts like oversight and control. This ambiguous terminology could undermine efforts to design or evaluate systems that must operate under meaningful human supervision. This matters because the term is used by regulatory texts such as the EU AI Act. This paper undertakes a targeted critical review of literature on supervision outside of AI, along with a brief summary of past work on the topic related to AI. We next differentiate control as ex-ante or real-time and operational rather than policy or governance, and oversight as performed ex-post, or a policy and governance function. Control aims to prevent failures, while oversight focuses on detection, remediation, or incentives for future prevention. Building on this, we make three contributions. 1) We propose a framework to align regulatory expectations with what is technically and organizationally plausible, articulating the conditions under which each mechanism is possible, where they fall short, and what is required to make them meaningful in practice. 2) We outline how supervision methods should be documented and integrated into risk management, and drawing on the Microsoft Responsible AI Maturity Model, we outline a maturity model for AI supervision. 3) We explicitly highlight boundaries of these mechanisms, including where they apply, where they fail, and where it is clear that no existing methods suffice. This foregrounds the question of whether meaningful supervision is possible in a given deployment context, and can support regulators, auditors, and practitioners in identifying both present and future limitations.
- Abstract（参考訳）: 監督を総称して呼ぶ監視と統制は、AIシステムが説明責任があり、信頼性があり、ガバナンスと管理の要件を満たすことができることを保証する方法としてしばしば議論される。
しかし、「人間の監視」の要件は、監視や制御といった重要な概念の曖昧さや矛盾した解釈を成すリスクである。
この曖昧な用語は、有意義な人間の監督の下で動作しなければならないシステムの設計や評価の努力を損なう可能性がある。
これは、この用語がEUのAI法のような規制文書で使われているためである。
本稿は、AI以外の分野における文献の監視に関する批判的レビューと、AI関連のトピックに関する過去の研究の概要をまとめたものである。
次に、私たちは、ポリシーやガバナンスではなく、前任者やリアルタイム、運用者としてコントロールを区別し、前職、あるいはポリシーとガバナンスの機能を監督します。
コントロールは失敗を防ぐことを目的としており、監視は将来の予防のための検出、修復、インセンティブに焦点を当てている。
これに基づいて、私たちは3つのコントリビューションを行います。
1) 規制の予測を技術的かつ組織的に妥当なものと整合させる枠組みを提案し, それぞれのメカニズムが可能である条件, 不足している条件, 実践において意味のあるものにするために何が必要かを明確にする。
2) Microsoft Responsible AI Maturity Modelに基づいて,管理手法の文書化とリスク管理への統合について概説し,AI監視の成熟度モデルについて概説する。
3) 適用場所,障害箇所,既存のメソッドが不十分であることの明確化など,これらのメカニズムの境界を明確に強調する。
このことは、あるデプロイメントコンテキストにおいて有意義な監督が可能かどうかという疑問を先導し、規制当局、監査官、実践者が現在および将来の制限の両方を特定するのをサポートすることができる。
関連論文リスト
- Out of Control -- Why Alignment Needs Formal Control Theory (and an Alignment Control Stack) [0.6526824510982799]
このポジションペーパーでは、形式的最適制御理論はAIアライメント研究の中心となるべきであると論じている。
それは、一般的なAIの安全性とセキュリティのアプローチとは異なる視点を提供する。
論文 参考訳（メタデータ） (2025-06-21T22:45:19Z) - Rigor in AI: Doing Rigorous AI Work Requires a Broader, Responsible AI-Informed Conception of Rigor [83.99510317617694]
我々は、厳格なAI研究と実践が持つべきものに対するより広範な概念が必要とされると論じている。
我々は,AIコミュニティの作業に関する対話に有用な言語とフレームワークを提供することを目標としている。
論文 参考訳（メタデータ） (2025-06-17T15:44:41Z) - Explainable AI Systems Must Be Contestable: Here's How to Make It Happen [2.5875936082584623]
本稿では、説明可能なAIにおける競合性の最初の厳密な形式的定義について述べる。
我々は、ヒューマン中心のインターフェース、技術プロセス、組織アーキテクチャにまたがる、設計やポストホックメカニズムのモジュール化されたフレームワークを紹介します。
私たちの作業は実践者に、真のリコースと説明責任をAIシステムに組み込むためのツールを提供しています。
論文 参考訳（メタデータ） (2025-06-02T13:32:05Z) - Watermarking Without Standards Is Not AI Governance [46.71493672772134]
現在の実装は、効果的な監視を提供するのではなく、象徴的なコンプライアンスとして機能するリスクがある、と私たちは主張する。
本稿では,技術標準,監査インフラストラクチャ,実施機構を含む3層フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-27T18:10:04Z) - Media and responsible AI governance: a game-theoretic and LLM analysis [61.132523071109354]
本稿では,信頼できるAIシステムを育成する上での,AI開発者,規制当局,ユーザ,メディア間の相互作用について検討する。
進化的ゲーム理論と大言語モデル(LLM)を用いて、異なる規制体制下でこれらのアクター間の戦略的相互作用をモデル化する。
論文 参考訳（メタデータ） (2025-03-12T21:39:38Z) - Decoding the Black Box: Integrating Moral Imagination with Technical AI Governance [0.0]
我々は、防衛、金融、医療、教育といった高度な領域に展開するAI技術を規制するために設計された包括的なフレームワークを開発する。
本手法では,厳密な技術的分析,定量的リスク評価,規範的評価を併用して,システム的脆弱性を暴露する。
論文 参考訳（メタデータ） (2025-03-09T03:11:32Z) - Position: Mind the Gap-the Growing Disconnect Between Established Vulnerability Disclosure and AI Security [56.219994752894294]
我々は、AIセキュリティレポートに既存のプロセスを適用することは、AIシステムの特徴的な特徴に対する根本的な欠点のために失敗する運命にあると主張している。
これらの欠点に対処する私たちの提案に基づき、AIセキュリティレポートへのアプローチと、新たなAIパラダイムであるAIエージェントが、AIセキュリティインシデント報告の進展をさらに強化する方法について論じる。
論文 参考訳（メタデータ） (2024-12-19T13:50:26Z) - Using AI Alignment Theory to understand the potential pitfalls of regulatory frameworks [55.2480439325792]
本稿では、欧州連合の人工知能法(EU AI法)を批判的に検討する。
人工知能における技術的アライメントの潜在的な落とし穴に焦点を当てたアライメント理論(AT)研究からの洞察を利用する。
これらの概念をEU AI Actに適用すると、潜在的な脆弱性と規制を改善するための領域が明らかになる。
論文 参考訳（メタデータ） (2024-10-10T17:38:38Z) - The Artificial Intelligence Act: critical overview [0.0]
この記事では、最近承認された人工知能法を概観する。
これはまず、2024/1689年のEU(Regulation)の主要な構造、目的、アプローチを示すことから始まる。
テキストは、全体的なフレームワークが適切かつバランスが取れたとしても、アプローチは非常に複雑であり、それ自体の目的を損なうリスクがある、と結論付けている。
論文 参考訳（メタデータ） (2024-08-30T21:38:02Z) - Open Problems in Technical AI Governance [102.19067750759471]
テクニカルAIガバナンス(Technical AI Governance)は、AIの効果的なガバナンスを支援するための技術分析とツールである。
本論文は、AIガバナンスへの貢献を目指す技術研究者や研究資金提供者のためのリソースとして意図されている。
論文 参考訳（メタデータ） (2024-07-20T21:13:56Z) - Generative AI Needs Adaptive Governance [0.0]
ジェネレーティブAIは、ガバナンス、信頼、ヒューマンエージェンシーの概念に挑戦する。
本稿では,ジェネレーティブAIが適応的ガバナンスを求めていることを論じる。
我々は、アクター、ロール、および共有およびアクター固有のポリシー活動の概要を概説する。
論文 参考訳（メタデータ） (2024-06-06T23:47:14Z) - Value Functions are Control Barrier Functions: Verification of Safe
Policies using Control Theory [46.85103495283037]
本稿では,制御理論から学習値関数への検証手法の適用方法を提案する。
我々は値関数と制御障壁関数の間の関係を確立する原定理を定式化する。
我々の研究は、RLベースの制御システムの汎用的でスケーラブルで検証可能な設計のための公式なフレームワークに向けた重要な一歩である。
論文 参考訳（メタデータ） (2023-06-06T21:41:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。