論文の概要: The Ultimate Test of Superintelligent AI Agents: Can an AI Balance Care and Control in Asymmetric Relationships?
- arxiv url: http://arxiv.org/abs/2506.01813v1
- Date: Mon, 02 Jun 2025 15:53:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-04 21:47:34.59634
- Title: The Ultimate Test of Superintelligent AI Agents: Can an AI Balance Care and Control in Asymmetric Relationships?
- Title（参考訳）: 超知能AIエージェントの究極のテスト:AIバランスケアと非対称な関係の制御は可能か?
- Authors: Djallel Bouneffouf, Matthew Riemer, Kush Varshney,
- Abstract要約: シェパードテストは、超知能人工エージェントの道徳的および関係的な次元を評価するための新しい概念テストである。
私たちは、AIが知的エージェントを操作、育む、そして機器的に使用しない能力を示すときに、重要な、潜在的に危険な、知能のしきい値を越えることを主張する。
これには、自己利益と従属エージェントの幸福の間の道徳的なトレードオフを評価する能力が含まれる。
- 参考スコア（独自算出の注目度）: 11.29688025465972
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces the Shepherd Test, a new conceptual test for assessing the moral and relational dimensions of superintelligent artificial agents. The test is inspired by human interactions with animals, where ethical considerations about care, manipulation, and consumption arise in contexts of asymmetric power and self-preservation. We argue that AI crosses an important, and potentially dangerous, threshold of intelligence when it exhibits the ability to manipulate, nurture, and instrumentally use less intelligent agents, while also managing its own survival and expansion goals. This includes the ability to weigh moral trade-offs between self-interest and the well-being of subordinate agents. The Shepherd Test thus challenges traditional AI evaluation paradigms by emphasizing moral agency, hierarchical behavior, and complex decision-making under existential stakes. We argue that this shift is critical for advancing AI governance, particularly as AI systems become increasingly integrated into multi-agent environments. We conclude by identifying key research directions, including the development of simulation environments for testing moral behavior in AI, and the formalization of ethical manipulation within multi-agent systems.
- Abstract（参考訳）: 本稿では,超知能人工エージェントの道徳的・リレーショナルな次元を評価するための新しい概念的テストであるシェパードテストを紹介する。
このテストは、非対称な力と自己保存の文脈において、ケア、操作、消費に関する倫理的考慮が生じる動物との人間の相互作用にインスパイアされている。
AIが重要な、潜在的に危険な、知性のしきい値を超えたのは、知性の低いエージェントを操作、育成、そして機器的に使用する能力を示すと同時に、自身の生存と拡張の目標を管理している時である、と私たちは主張する。
これには、自己利益と従属エージェントの幸福の間の道徳的なトレードオフを評価する能力が含まれる。
従って、シェパードテストは、道徳的エージェンシー、階層的行動、そして既存の利害関係の下での複雑な意思決定を強調することによって、従来のAI評価パラダイムに挑戦する。
私たちは、AIシステムがますますマルチエージェント環境に統合されるにつれて、このシフトがAIガバナンスの推進に不可欠である、と論じています。
我々は、AIにおける道徳的行動をテストするためのシミュレーション環境の開発や、マルチエージェントシステムにおける倫理的操作の形式化など、主要な研究方向を特定して結論付ける。
関連論文リスト
- Neurodivergent Influenceability as a Contingent Solution to the AI Alignment Problem [1.3905735045377272]
AIアライメント問題は、人工知能(AI)システムが人間の価値観に従って行動することを保証することに重点を置いている。
狭義のAIからAI(Artificial General Intelligence, AGI)やスーパーインテリジェンス(Superintelligence, 超知能)への進化に伴い、制御に対する恐怖と現実的なリスクがエスカレートした。
ここでは、避けられないAIのミスアライメントを受け入れることが、競合するエージェントの動的なエコシステムを育むための緊急戦略であるかどうかを検討する。
論文 参考訳（メタデータ） (2025-05-05T11:33:18Z) - Artificial Intelligence (AI) and the Relationship between Agency, Autonomy, and Moral Patiency [0.0]
私たちは、現在のAIシステムは高度に洗練されていますが、真のエージェンシーと自律性は欠如しています。
我々は、意識のない限られた形態の人工道徳機関を達成できる未来のシステムの可能性を排除することはできない。
論文 参考訳（メタデータ） (2025-04-11T03:48:40Z) - Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
我々は人間の知恵について知られているものを調べ、そのAIのビジョンをスケッチする。
AIシステムは特にメタ認知に苦しむ。
スマートAIのベンチマーク、トレーニング、実装について論じる。
論文 参考訳（メタデータ） (2024-11-04T18:10:10Z) - Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。
本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
論文 参考訳（メタデータ） (2024-02-28T16:09:56Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2023-04-16T11:22:59Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - Trustworthy AI: A Computational Perspective [54.80482955088197]
我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。
各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
論文 参考訳（メタデータ） (2021-07-12T14:21:46Z) - Modelos din\^amicos aplicados \`a aprendizagem de valores em
intelig\^encia artificial [0.0]
この地域の数人の研究者が、人間と環境の保存のための堅牢で有益な、安全なAIの概念を開発した。
人工知能エージェントが人間の価値観に合わせた価値を持っていることは、最も重要である。
おそらくこの難しさは、認知的手法を使って価値を表現するという問題に対処する方法から来ています。
論文 参考訳（メタデータ） (2020-07-30T00:56:11Z) - Dynamic Cognition Applied to Value Learning in Artificial Intelligence [0.0]
この分野の数人の研究者が、堅牢で有益で安全な人工知能の概念を開発しようとしている。
人工知能エージェントが人間の価値観に合わせた価値を持っていることは、最も重要である。
この問題に対する可能なアプローチは、SEDのような理論モデルを使用することである。
論文 参考訳（メタデータ） (2020-05-12T03:58:52Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳（メタデータ） (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。