論文の概要: Anticipatory Human Oversight of Agentic AI: A Philosophical Account
- arxiv url: http://arxiv.org/abs/2609.24242v1
- Date: Mon, 21 Sep 2026 08:07:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 15:40:59.723628
- Title: Anticipatory Human Oversight of Agentic AI: A Philosophical Account
- Title(参考訳): エージェントAIの予測的人間観:哲学的考察
- Abstract要約: 人間の監視はAIシステムのリスクを軽減するために広く行われている。
この論文は、反応の監視は予測モードによって補完されなければならないと論じている。
提案するフレームワークは、設計によって特定の責任アーキテクチャをもたらす、と我々は主張する。
- 参考スコア(独自算出の注目度): 1.2949520455740091
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human oversight is widely held to mitigate the risks of AI systems. Even for systems that produce discrete outputs at identifiable decision points, the realisation of human oversight as a reactive measure is empirically fragile, yet increasingly well understood. However, for agentic AI -- systems that plan, decompose goals, and execute multi-step actions over extended horizons -- reactive oversight reaches its structural limits: intervention on individual actions defeats the autonomy that motivates the deployment, while intervention on aggregate patterns is too coarse for harms whose cumulative consequences only become legible after the fact. This paper argues that reactive oversight must be complemented by an anticipatory mode: oversight exercised before the agent acts, by specifying the normative agenda that structures the space of permissible action and refining it iteratively through specification, runtime, and inspection. The two are complements -- the agenda's escalation conditions specify when reactive intervention is invoked. Drawing on Meaningful Human Control, we read anticipatory oversight as the operationalisation of distal-reason tracking. In addition, we argue that the proposed framework yields a specific responsibility architecture by design: occupying the anticipatory mode is the discharge of a role-grounded prospective obligation, and backward-looking responsibility takes the form of strict moral answerability -- rationalistic, relational, and holding regardless of fault, in virtue of the principal's prior opportunity for precaution. We develop bridging failure modes, address objections including moral luck and the illusion of control, and close with regulatory, architectural, and empirical implications
- Abstract(参考訳): 人間の監視はAIシステムのリスクを軽減するために広く行われている。
個別の出力を識別可能な決定ポイントで生成するシステムでさえ、人間の監視を反応性尺度として実現することは、経験的に脆弱であるが、次第によく理解されるようになった。
しかしながら、エージェントAI -- 目標を計画し、分解し、拡張された地平線上でマルチステップアクションを実行するシステム -- リアクティブ監視 -- は、その構造的限界に達する。個々のアクションへの介入は、デプロイメントを動機付ける自律性を損なうが、集約パターンへの介入は、事実の後に、累積的な結果が正当性を持つような害に対して大きすぎる。この記事では、リアクティブ監視は、エージェントが行動する前に、許容可能なアクションの空間を構造化し、仕様、実行時、検査を通して反復的に改善する規範的アジェンダを指定することによって、予測モードによって補完されなければならない、と論じる。
人為的な人為的制御(Human Control)を参考に,遠位領域追跡の運用を予見した。
さらに,提案手法は, 予測モードの占有はロールグラウンドの先導的義務の解脱であり, 後ろ向きの責任は, 厳格な道徳的応答性 - 合理性, 関係性, 欠点に関係なく, プリンシパルの予防のための事前の機会を生かし, 維持する形態を取る。
我々は、ブリッジング障害モードを開発し、モラル・フォーチュンやコントロールの錯覚を含む反対に対処し、規制、建築、経験的含意に迫る。
関連論文リスト
- Provably Secure Agent Guardrail [89.79561918065122]
既存の防衛アーキテクチャは経験的セマンティックガードレールと確率論的大モデル調整器に依存している。
本稿では,論理的推論の基本的制約に基づくエージェントのための新しいセキュリティパラダイムを提案する。
論文 参考訳(メタデータ) (2026-05-28T02:12:41Z) - Active Inference: A method for Phenotyping Agency in AI systems? [0.11904398364437437]
3つの基準を基準として、原則検査に開放された最小限の概念について論じる。
後続の信念、事前の嗜好、そして期待される自由エネルギーの最小化は、共同でエージェント・アクション・チェーンを構成する。
論文 参考訳(メタデータ) (2026-04-25T12:41:53Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳(メタデータ) (2026-04-21T15:05:58Z) - When Convenience Becomes Risk: A Semantic View of Under-Specification in Host-Acting Agents [21.157505782385773]
ホストアクションエージェントは、ユーザが目標を指定し、システムがそれを実現する方法を決定する、便利なインタラクションモデルを約束する。
この利便性は、ゴール仕様におけるセマンティック・アンダー・セマンティクスという、異なるセキュリティ問題をもたらす、と我々は主張する。
本稿では, セマンティック・脅威モデル, セマンティック・リスク・コンプリート・パターンの分類を提示し, その現象をOpenClawを中心としたケーススタディと実行トレース分析を用いて研究する。
論文 参考訳(メタデータ) (2026-03-22T13:42:21Z) - Fantastic Reasoning Behaviors and Where to Find Them: Unsupervised Discovery of the Reasoning Process [66.38541693477181]
本稿では, アクティベーション空間の方向として, 異なる推論挙動を符号化する, 推論ベクトルの発見のための教師なしフレームワークを提案する。
思考の連鎖トレースを文レベルの「ステップ」にセグメント化することで、リフレクションやバックトラックのような解釈可能な振る舞いに対応する歪んだ特徴を明らかにする。
本研究では,SAEデコーダ空間における信頼性関連ベクトルを同定し,応答信頼性を制御する能力を示す。
論文 参考訳(メタデータ) (2025-12-30T05:09:11Z) - From Linear Risk to Emergent Harm: Complexity as the Missing Core of AI Governance [0.0]
リスクベースのAI規制は、予想される損害に対応する比例制御を約束する。
本稿では、そのようなフレームワークは構造上の理由から失敗することが多いと論じる。
我々は,規制を制御ではなく介入として扱う,AIガバナンスのための複雑性ベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2025-12-14T14:19:21Z) - From Human Intention to Action Prediction: A Comprehensive Benchmark for Intention-driven End-to-End Autonomous Driving [67.23302649816466]
現在の自律運転システムは、単純な操縦命令に従うように、インテリジェンスレベルで動作する。
Intention-Driveは、高レベルの人間の意図を安全かつ正確な運転行動に変換する能力を評価するために設計された最初の総合的なベンチマークである。
論文 参考訳(メタデータ) (2025-12-13T11:59:51Z) - AI Deception: Risks, Dynamics, and Controls [153.71048309527225]
このプロジェクトは、AI偽装分野の包括的で最新の概要を提供する。
我々は、動物の偽装の研究からシグナル伝達理論に基づく、AI偽装の正式な定義を同定する。
我々は,AI偽装研究の展望を,偽装発生と偽装処理の2つの主要な構成要素からなる偽装サイクルとして整理する。
論文 参考訳(メタデータ) (2025-11-27T16:56:04Z) - Limits of Safe AI Deployment: Differentiating Oversight and Control [0.0]
「Human oversight」は、監視や制御といった重要な概念の曖昧さや矛盾した解釈を成すリスクである。
本稿では,AI以外の文献の監視を対象とする批判的レビューを行う。
コントロールは失敗を防ぐことを目的としており、監視は将来の予防のための検出、修復、インセンティブに焦点を当てている。
論文 参考訳(メタデータ) (2025-07-04T12:22:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。