論文の概要: Goal Revelation as a Bridge Between Information-Theoretic Empowerment and Capability-Based Human Power

• arxiv url: http://arxiv.org/abs/2611.07247v1
• Date: Wed, 04 Nov 2026 23:54:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.472899
• Title: Goal Revelation as a Bridge Between Information-Theoretic Empowerment and Capability-Based Human Power
• Title（参考訳）: 情報理論力と能力に基づく人力との橋渡しとしてのゴール啓示
• Abstract要約: 最適なエージェントは、幅広い目的にまたがってパワーを得る傾向がある。 人間は、AIエージェントを社会技術システムに組み込むにつれて、徐々に分散するリスクを負う。 権力の度合いは、情報理論の力と能力に基づく個人の力である。
• 参考スコア（独自算出の注目度）: 0.41437035649028015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Power matters for AI safety. Optimal agents tend to acquire power across a wide range of objectives (instrumental convergence). As we embed AI agents into socio-technical systems, humans risk gradual disempowerment. Both concerns call for a formal, quantitative measure of power. Two such measures in the context of Markov games are information-theoretic empowerment, the capacity of the channel from an agent's actions to future states, and capability-based individual power, a measure of goal attainment built from the probabilities that a human would attain each goal in a family of candidates were they pursuing it. We show where the two meet. From individual power, Fano's inequality yields a floor $B(s)$. This floor is a lower bound on what we term goal revelation, the mutual information $\mathbb{I}(G;ξ\mid s)$ between the human's latent goal and the realised trajectory. Empowerment caps revelation from above, so that $B(s) \le \mathbb{I}(G;ξ\mid s) \le \mathbb{I}(\mathbf{A}_h \to ξ\mid s) \le \mathfrak{E}_h(s)$. Each quantity can be large while the one below it stays at zero, highlighting the following failure modes. An assistant maximising empowerment can prefer an interface offering broad influence over goal-irrelevant degrees of freedom to one that lets the human attain every goal they might hold. An assistant maximising revelation cannot tell a working interface from one rewired so that every goal yields the wrong outcome, since relabelling goals leaves mutual information unchanged while zeroing every attainment probability. Positive guarantees therefore come only from the attainment end of the chain. A satisfaction floor, computable from two statistics of interaction logs, offers a way to monitor the power users retain in a deployed system, and simulations in random environments show the three quantities are correlated but far from interchangeable.
• Abstract（参考訳）: AIの安全性のためのパワー。 最適なエージェントは、広範囲の目的(インストルメンタル・コンバージェンス)にまたがるパワーを獲得する傾向がある。 AIエージェントを社会技術システムに組み込むと、人間は徐々に分散するリスクを負う。 どちらの懸念も、形式的で定量的な権力の尺度を要求している。 マルコフゲームにおけるそのような2つの尺度は、情報理論的なエンパワーメント、エージェントの行動から将来の状態へのチャネルのキャパシティ、能力に基づく個別のパワー、すなわち、人間が候補者の家族でそれぞれの目標を達成する確率から作られた目標達成の尺度である。 私たちは二人がどこで会うかを見せます。 個々の力から、ファノの不等式はフロアB(s)$を得る。 このフロアは、人類の潜在目標と実現された軌道の間の相互情報$\mathbb{I}(G;\mid s)$である。 B(s) \le \mathbb{I}(G;>\mid s) \le \mathbb{I}(\mathbf{A}_h \to >\mid s) \le \mathfrak{E}_h(s)$ である。 各量は大きいが、下にあるものはゼロに留まり、次の障害モードが強調される。 エンパワーメントを最大化するアシスタントは、人間が保持できるすべてのゴールを達成するために、目標に依存しない自由度に幅広い影響を与えるインターフェースを好むことができる。 啓示を最大化するアシスタントは、すべてのゴールが間違った結果をもたらすようにリワイヤドされたある作業インターフェースを識別することはできない。 したがって、肯定的な保証はチェーンの達成の終わりからのみ得られます。 相互作用ログの2つの統計から計算可能な満足度フロアは、ユーザがデプロイされたシステムに保持する電力を監視する手段を提供する。

関連論文リスト

• A Fair Objective for Human-Empowerment-Preserving AI: Desiderata, Design, and Likely Behavioral Consequences [0.4474253500122443]
  本稿では,AIエージェントが人間に力を与えるように強制することで,人間とAIのインタラクションにおける幸福と安全を促進するという考えを考察する。 我々は、人間力の不平等とリスク-逆の長期的集約を表すAIシステムに対して、パラメトリゾブルで分解可能な客観的関数を設計する。
  論文  参考訳（メタデータ） (2026-08-08T17:07:39Z)
• A Tutorial on Cognitive Biases in Agentic AI-Driven 6G Autonomous Networks [3.0475538102144575]
  本稿では, 分類, 定義, 数学的定式化, 通信システムの出現, 一般に影響を受けるエージェント成分など, よく知られたバイアスの選択に関するチュートリアルを提供する。 また、バイアスの種類ごとに調整された様々な緩和戦略も提示する。 この記事は最終的に2つの実用的なユースケースを提供し、これは6G間スライスとクロスドメイン管理における有名なバイアスの出現、影響、緩和に対処するものである。
  論文  参考訳（メタデータ） (2025-10-22T19:05:04Z)
• Model-Based Soft Maximization of Suitable Metrics of Long-Term Human Power [0.0]
  本稿では、AIエージェントに人間に力を与えるよう強制することで、安全と幸福の両方を促進するという考え方を探求する。 我々は、不等式とリスク・逆の人間の力の長期的集合を表す、パラメトリゾブルで分解可能な目的関数を設計する。
  論文  参考訳（メタデータ） (2025-07-31T20:56:43Z)
• Will artificial agents pursue power by default? [0.0]
  先進的なAIによる破滅的なリスクを心配する研究者たちは、人類に対する権力を追求するために十分な能力を持つAIエージェントを期待すべきだと主張した。 本稿では,機器収束と電力探索の概念を抽象的・決定論的枠組みで定式化することを目的とする。 私はこの主張が少なくとも真実の要素を含んでいると結論づけるが、予測実用性に限界があるかもしれない。
  論文  参考訳（メタデータ） (2025-06-02T18:54:18Z)
• Infinite Ends from Finite Samples: Open-Ended Goal Inference as Top-Down Bayesian Filtering of Bottom-Up Proposals [48.437581268398866]
  オープンエンドゴール推論のシーケンシャルなモンテカルロモデルを導入する。 我々はこのモデルをブロックワードと呼ばれるゴール推論タスクで検証する。 実験では,人間理論の速度,精度,一般性を説明する上で,トップダウンモデルとボトムアップモデルを組み合わせることの重要性を強調した。
  論文  参考訳（メタデータ） (2024-07-23T18:04:40Z)
• Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark [61.43264961005614]
  我々は、50万以上のリッチで多様なシナリオを含む134個のChoose-Your-Own-Adventureゲームのベンチマークを開発する。 我々は、エージェントの傾向をパワー・シーキングと評価し、不使用を生じさせ、倫理的違反を犯す。 以上の結果から,エージェントは有能かつ道徳的に行動できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-06T17:59:03Z)
• On Avoiding Power-Seeking by Artificial Intelligence [93.9264437334683]
  私たちは、非常にインテリジェントなAIエージェントの振る舞いと人間の関心を協調する方法を知りません。 私は、世界に限られた影響を与え、自律的に力を求めないスマートAIエージェントを構築できるかどうか調査する。
  論文  参考訳（メタデータ） (2022-06-23T16:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。