論文の概要: When Empowerment Disempowers

• arxiv url: http://arxiv.org/abs/2511.04177v1
• Date: Thu, 06 Nov 2025 08:29:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.363457
• Title: When Empowerment Disempowers
• Title（参考訳）: エンパワーメント・ディエムパワーズ(Empensement Disempowers)
• Authors: Claire Yang, Maya Cakmak, Max Kleiman-Weiner,
• Abstract要約: エンパワーメントは、AIエージェントの補助行動を促進するための普遍的な目標に依存しない目的として提案されている。 本稿では,オープンソースのマルチヒューマングリッドワールドテストスイートであるDisempower-Gridを紹介する。 我々は、ある人間のエンパワーメントを最適化する補助的RLエージェントが、他の人間の環境影響と報酬を著しく減少させることを実証的に示す。 私たちの研究は、AIアライメントコミュニティにとって、より広範な課題を明らかにしています。
• 参考スコア（独自算出の注目度）: 6.072835354847189
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Empowerment, a measure of an agent's ability to control its environment, has been proposed as a universal goal-agnostic objective for motivating assistive behavior in AI agents. While multi-human settings like homes and hospitals are promising for AI assistance, prior work on empowerment-based assistance assumes that the agent assists one human in isolation. We introduce an open source multi-human gridworld test suite Disempower-Grid. Using Disempower-Grid, we empirically show that assistive RL agents optimizing for one human's empowerment can significantly reduce another human's environmental influence and rewards - a phenomenon we formalize as disempowerment. We characterize when disempowerment occurs in these environments and show that joint empowerment mitigates disempowerment at the cost of the user's reward. Our work reveals a broader challenge for the AI alignment community: goal-agnostic objectives that seem aligned in single-agent settings can become misaligned in multi-agent contexts.
• Abstract（参考訳）: エージェントの環境を制御できる能力の尺度であるエンパワーメントは、AIエージェントの補助行動を促進するための普遍的な目標に依存しない目的として提案されている。 家庭や病院のようなマルチヒューマン設定はAI支援を約束するが、エンパワーメントベースの支援の事前作業は、エージェントが単独で1人の人間を支援することを前提としている。 本稿では,オープンソースのマルチヒューマングリッドワールドテストスイートであるDisempower-Gridを紹介する。 Disempower-Gridを用いて、ある人間のエンパワーメントを最適化する補助的RLエージェントが、他の人間の環境影響と報酬を著しく減少させることを実証的に示す。 本研究では,これらの環境における非権限化の発生を特徴付けるとともに,共同権限化がユーザの報酬を犠牲にして非権限化を緩和することを示す。 私たちの研究は、AIアライメントコミュニティにとって、より広範な課題を明らかにしています。

関連論文リスト

• Training LLM Agents to Empower Humans [67.80021254324294]
  本稿では,人間のエンパワーメントの最大化に基づく支援言語モデルのチューニング手法を提案する。 我々のエンパワーメント最大化手法であるEmpowerは、オフラインのテキストデータのみを必要とする。 我々は,Empowerで訓練されたエージェントが,プログラミング問題に挑戦する人間プログラマの成功率を平均192%向上させることを示す。
  論文  参考訳（メタデータ） (2025-10-15T16:09:33Z)
• Model-Based Soft Maximization of Suitable Metrics of Long-Term Human Power [0.0]
  本稿では、AIエージェントに人間に力を与えるよう強制することで、安全と幸福の両方を促進するという考え方を探求する。 我々は、不等式とリスク・逆の人間の力の長期的集合を表す、パラメトリゾブルで分解可能な目的関数を設計する。
  論文  参考訳（メタデータ） (2025-07-31T20:56:43Z)
• Implicitly Aligning Humans and Autonomous Agents through Shared Task Abstractions [42.813774494968214]
  HA$2$:階層的アドホックエージェント(hierarchical Ad Hoc Agents)は、階層的強化学習を利用して、人間が協調で使用する構造的アプローチを模倣するフレームワークである。 オーバークッキング環境におけるHA$2$の評価を行い、未確認エージェントと人間の両方と組み合わせた場合、既存のベースラインよりも統計的に有意な改善が見られた。
  論文  参考訳（メタデータ） (2025-05-07T17:19:17Z)
• Smart Help: Strategic Opponent Modeling for Proactive and Adaptive Robot Assistance in Households [30.33911147366425]
  Smart Helpは、多様な障害を持つ人間のエージェントに対して、積極的にかつ適応的なサポートを提供することを目的としている。 本稿では,主エージェントの能力と目標の微妙な理解を提供する,イノベーティブな対戦相手モデリングモジュールを紹介する。 この結果から,AIを組み込んだ支援ロボットが,脆弱なグループの健康向上に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-04-13T13:03:59Z)
• The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
  大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。 単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
  論文  参考訳（メタデータ） (2023-09-14T17:12:03Z)
• Compensating for Sensing Failures via Delegation in Human-AI Hybrid Systems [0.0]
  我々は、管理エージェントがいつ委任代行を行うかを特定することを任務とするハイブリッドな人間-AIチームについて考察する。 我々は、環境コンテキストが知覚障害にどのように貢献するか、または悪化するかをモデル化する。 本稿では,強化学習(RL)マネージャがコンテキストデリゲーションアソシエーションをいかに修正できるかを示す。
  論文  参考訳（メタデータ） (2023-03-02T14:27:01Z)
• Watch-And-Help: A Challenge for Social Perception and Human-AI Collaboration [116.28433607265573]
  我々は、AIエージェントでソーシャルインテリジェンスをテストするための課題であるWatch-And-Help(WAH)を紹介する。 WAHでは、AIエージェントは、人間のようなエージェントが複雑な家庭用タスクを効率的に実行するのを助ける必要がある。 マルチエージェントの家庭環境であるVirtualHome-Socialを構築し、計画と学習ベースのベースラインを含むベンチマークを提供する。
  論文  参考訳（メタデータ） (2020-10-19T21:48:31Z)
• AvE: Assistance via Empowerment [77.08882807208461]
  そこで我々は,人間の環境制御能力を高めることで,支援のための新しいパラダイムを提案する。 このタスクに依存しない目的は、個人の自律性と最終的な状態を達成する能力を維持する。
  論文  参考訳（メタデータ） (2020-06-26T04:40:11Z)
• Learning to Incentivize Other Learning Agents [73.03133692589532]
  我々は、学習インセンティブ関数を用いて、RLエージェントに他のエージェントに直接報酬を与える能力を持たせる方法を示す。 このようなエージェントは、一般的なマルコフゲームにおいて、標準のRLと対戦型エージェントを著しく上回っている。 私たちの仕事は、マルチエージェントの未来において共通の善を確実にする道のりに沿って、より多くの機会と課題を指しています。
  論文  参考訳（メタデータ） (2020-06-10T20:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。