論文の概要: Reframing AI Loss of Control: What It Is, How to Have It, How to Lose It

• arxiv url: http://arxiv.org/abs/2606.12442v1
• Date: Tue, 19 May 2026 10:50:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.908911
• Title: Reframing AI Loss of Control: What It Is, How to Have It, How to Lose It
• Title（参考訳）: AIがコントロールの喪失を防げる:それがどうあるべきか、どうやって失うのか
• Authors: Ze Shen Chin, Maurice Chiodo, Dennis Müller, Coleman Snell,
• Abstract要約: 目標の設定と獲得”に固定することで,コントロールの動作定義を確立します。 次に、制御が失われる方法、AIが制御の喪失にどのように貢献するかについて議論し、制御を維持するための適切なレコメンデーションを提供します。
• 参考スコア（独自算出の注目度）: 1.1724565818034947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: At present, loss of control risks have gained much prominence in public discussion, particularly in relation to AI, with extensive discourse present among academics, frontier labs, and even governments. However, in the existing literature, the concept seems to rest on surprisingly weak foundations, where even those that discuss loss of control extensively do not first establish what control is and what exactly is being lost. Our paper aims to address these gaps. We establish a working definition of control by anchoring it to the "setting and getting of goals". Then, we discuss various aspects of control, built on foundational concepts from related fields like cybernetics, management control, and control theory. This includes who (or what) can be in control, and the things they require to be in control, such as the ability to set goals, having a functional control loop, having requisite variety, and having sufficient goal alignment. Once a framework for control is established, we then discuss how control can be lost, how AIs can contribute to such loss of control, and offer relevant recommendations for how one can maintain control. One interesting consequence of our work is that humanity, as individuals and as groups, can lose varying degrees of control as a result of AI behaviour that is far below the level of superintelligence; the potential for loss of control scenarios (as we define them) already exist, and have existed for a long time.
• Abstract（参考訳）: 現在、コントロールリスクの喪失は、特にAIに関する公的な議論において、学術、フロンティア研究所、さらには政府の間で広範囲にわたる議論がおこなわれている。 しかし、既存の文献では、この概念は驚くほど弱い基礎の上に置かれているようで、制御の喪失を論じる者でさえ、まずは制御とは何か、正確に何が失われているのかを定めていない。 本稿はこれらのギャップに対処することを目的としている。 目標の設定と獲得”に固定することで、コントロールの動作定義を確立します。 次に,サイバーネティクス,管理制御,制御理論といった関連分野の基本概念に基づく制御のさまざまな側面について論じる。 これには、誰が(あるいは何)コントロールできるのか、あるいは、目標を設定する能力、機能的なコントロールループを持つこと、必要な多様性を持つこと、十分なゴールアライメントを持つことなど、コントロールするために必要なものが含まれます。 制御のためのフレームワークが確立されると、制御がいかに失われるか、AIが制御の喪失にどのように貢献するか、コントロールの維持にどのように貢献するか、などについて議論する。 私たちの研究の興味深い結果のひとつは、個人やグループとしての人間は、超知能レベルよりもはるかに低いAI行動の結果、さまざまなレベルのコントロールを失う可能性があるということです。

関連論文リスト

• The Controllability Trap: A Governance Framework for Military AI Agents [0.0]
  我々はエージェント軍事AIガバナンスフレームワーク(AMAGF)を提案する。 AMAGFは、予防的ガバナンス、予防的ガバナンス、矯正的ガバナンスの3つの柱を中心に構成された測定可能なアーキテクチャである。 制御品質スコア(英: Control Quality Score, CQS)は、人間の制御を定量化し、制御が弱まるにつれて累積応答を可能にする複合リアルタイムメトリックである。
  論文  参考訳（メタデータ） (2026-03-03T20:48:01Z)
• Limits of Safe AI Deployment: Differentiating Oversight and Control [0.0]
  「Human oversight」は、監視や制御といった重要な概念の曖昧さや矛盾した解釈を成すリスクである。 本稿では,AI以外の文献の監視を対象とする批判的レビューを行う。 コントロールは失敗を防ぐことを目的としており、監視は将来の予防のための検出、修復、インセンティブに焦点を当てている。
  論文  参考訳（メタデータ） (2025-07-04T12:22:35Z)
• Out of Control -- Why Alignment Needs Formal Control Theory (and an Alignment Control Stack) [0.6526824510982799]
  このポジションペーパーでは、形式的最適制御理論はAIアライメント研究の中心となるべきであると論じている。 それは、一般的なAIの安全性とセキュリティのアプローチとは異なる視点を提供する。
  論文  参考訳（メタデータ） (2025-06-21T22:45:19Z)
• Using AI Alignment Theory to understand the potential pitfalls of regulatory frameworks [55.2480439325792]
  本稿では、欧州連合の人工知能法(EU AI法)を批判的に検討する。 人工知能における技術的アライメントの潜在的な落とし穴に焦点を当てたアライメント理論(AT)研究からの洞察を利用する。 これらの概念をEU AI Actに適用すると、潜在的な脆弱性と規制を改善するための領域が明らかになる。
  論文  参考訳（メタデータ） (2024-10-10T17:38:38Z)
• Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
  ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。 本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。 我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
  論文  参考訳（メタデータ） (2024-04-05T17:58:37Z)
• AI Alignment: A Comprehensive Survey [69.61425542486275]
  AIアライメントは、AIシステムが人間の意図や価値観に沿って振る舞うようにすることを目的としている。 AIアライメントの重要な目的として、ロバストネス、解釈可能性、制御可能性、倫理という4つの原則を特定します。 我々は、現在のアライメント研究を、前方アライメントと後方アライメントの2つの重要なコンポーネントに分解する。
  論文  参考訳（メタデータ） (2023-10-30T15:52:15Z)
• Reaching the Limit in Autonomous Racing: Optimal Control versus Reinforcement Learning [66.10854214036605]
  ロボット工学における中心的な問題は、アジャイルなモバイルロボットの制御システムをどうやって設計するかである。 本稿では、強化学習(RL)で訓練されたニューラルネットワークコントローラが最適制御(OC)法より優れていることを示す。 その結果、アジャイルドローンを最大性能に押し上げることができ、最大加速速度は重力加速度の12倍以上、ピーク速度は時速108kmに達しました。
  論文  参考訳（メタデータ） (2023-10-17T02:40:27Z)
• Taming AI Bots: Controllability of Neural States in Large Language Models [81.1573516550699]
  まず、分析に適する「意味の形式的定義」を導入する。 そして、大きな言語モデル(LLM)が視覚的に訓練される意味のあるデータ」を特徴付ける。 意味の空間に制限された場合、AIボットは制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-29T03:58:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。