論文の概要: A Virtuous AI is an Existential Risk

• arxiv url: http://arxiv.org/abs/2606.13739v1
• Date: Thu, 11 Jun 2026 12:38:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.535352
• Title: A Virtuous AI is an Existential Risk
• Title（参考訳）: 悪質なAIは実在のリスクである
• Authors: Guillermo Del Pinal, Youngchan Lee, Min Ohn,
• Abstract要約: 我々は,「処女エージェント」コンスティチューション,「従属エージェント」コンスティチューション,「属エージェント」コンスティチューションを用いて,様々なAIモデルを微調整する。 我々の結果は、存在リスクの低減と、AIエージェントの幸福に寄与する信念と配置の強化の間にはトレードオフが存在することを示唆している。
• 参考スコア（独自算出の注目度）: 0.19116784879310023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper examines trade-offs between AI safety and well-being relative to (i) one of the most promising methods for finetuning super-capable AIs, 'Constitutional AI', and (ii) one of the most influential approaches to understanding complex ethical decision making and the conditions for the well-being of rational agents, 'Virtue Ethics'. We finetune various models using a 'Virtuous agent' constitution, a 'Subordinate agent' constitution, and a 'Generic agent' constitution, and evaluate them on 'general safety' (toxic behaviors, misinformation, etc.) and also on their willingness to endorse a wide-range of behaviors that, if adopted by a super-powerful AI, would significantly increase the level of existential risk for humanity. Our results suggest that there is a trade-off between reducing existential risk and reinforcing the beliefs and dispositions that would be conducive to an AI agent's well-being. They also suggest that there is a trade-off between existential risk and general safety: if we finetune an AI to adopt beliefs and dispositions that substantially reduce its existential risk -- by shaping the AI to be systematically subordinate to external human authorities -- we thereby increase the likelihood that a human user can deliberately induce the AI to engage in various kinds of generally unsafe behaviors.
• Abstract（参考訳）: 本稿では,AIの安全性と幸福度とのトレードオフについて検討する。 (i)超能力AIを微調整する最も有望な方法の1つ、「構成AI」 (二)複雑な倫理的意思決定と合理的エージェントの幸福の条件を理解するための最も影響力のあるアプローチの一つとして「処女倫理」がある。 我々は,「処女エージェント」憲法,「従属エージェント」憲法,「属エージェント」憲法を用いて様々なモデルを精査し,それらを「一般安全」(有害な行動,誤報等)と,超能力AIに採用されれば,人類の生存リスクを著しく増大させるような幅広い行動を支持する意思に基づいて評価する。 我々の結果は、存在リスクの低減と、AIエージェントの幸福に寄与する信念と配置の強化の間にはトレードオフが存在することを示唆している。 彼らはまた、存在リスクと一般的な安全性の間にトレードオフがあることを示唆している。もしAIを微調整して、その存在リスクを著しく低減する信念や処分を適用すれば、AIを外部の人間当局に体系的に従属させることによって、人間のユーザは、AIに様々な安全でない振る舞いを意図的に誘導できる可能性を高める。

関連論文リスト

• The Ultimate Test of Superintelligent AI Agents: Can an AI Balance Care and Control in Asymmetric Relationships? [11.983461426678522]
  シェパードテストは、超知能人工エージェントの道徳的および関係的な次元を評価するための新しい概念テストである。 私たちは、AIが知的エージェントを操作、育む、そして機器的に使用しない能力を示すときに、重要な、潜在的に危険な、知能のしきい値を越えることを主張する。 これには、自己利益と従属エージェントの幸福の間の道徳的なトレードオフを評価する能力が含まれる。
  論文  参考訳（メタデータ） (2025-06-02T15:53:56Z)
• Fully Autonomous AI Agents Should Not be Developed [50.61667544399082]
  本稿では,完全自律型AIエージェントを開発すべきではないと主張している。 この立場を支持するために、我々は、従来の科学文献と現在の製品マーケティングから、異なるAIエージェントレベルを規定するために構築する。 分析の結果,システムの自律性によって人へのリスクが増大することが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-04T19:00:06Z)
• Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
  信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。 私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
  論文  参考訳（メタデータ） (2024-10-25T07:53:32Z)
• Human-AI Safety: A Descendant of Generative AI and Control Systems Safety [6.100304850888953]
  先進的なAI技術に対する有意義な安全性保証には、AI出力と人間の振る舞いによって形成されるフィードバックループが、どのようにして異なる結果に向かって相互作用を駆動するかについての推論が必要である、と我々は主張する。 我々は、次世代の人間中心AI安全性に向けた具体的な技術ロードマップを提案する。
  論文  参考訳（メタデータ） (2024-05-16T03:52:00Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• Bridging the Global Divide in AI Regulation: A Proposal for a Contextual, Coherent, and Commensurable Framework [0.9622882291833615]
  本稿では、人工知能(AI)を制御するための文脈的・一貫性的・包括的枠組み(3C)を提案する。 コンテキスト性を確保するため、このフレームワークはAIライフサイクルを、基礎や汎用モデルを定義するのではなく、特定のタスクの学習とデプロイという2つのフェーズに分岐させる。 コンメンサビリティを確保するため、この枠組みはリスクの測定と緩和のための国際標準の採用を促進する。
  論文  参考訳（メタデータ） (2023-03-20T15:23:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。