論文の概要: A Virtuous AI is an Existential Risk
- arxiv url: http://arxiv.org/abs/2606.13739v1
- Date: Thu, 11 Jun 2026 12:38:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 16:00:42.535352
- Title: A Virtuous AI is an Existential Risk
- Title（参考訳）: 悪質なAIは実在のリスクである
- Abstract要約: 我々は,「処女エージェント」コンスティチューション,「従属エージェント」コンスティチューション,「属エージェント」コンスティチューションを用いて,様々なAIモデルを微調整する。
我々の結果は、存在リスクの低減と、AIエージェントの幸福に寄与する信念と配置の強化の間にはトレードオフが存在することを示唆している。
- 参考スコア（独自算出の注目度）: 0.19116784879310023
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper examines trade-offs between AI safety and well-being relative to (i) one of the most promising methods for finetuning super-capable AIs, 'Constitutional AI', and (ii) one of the most influential approaches to understanding complex ethical decision making and the conditions for the well-being of rational agents, 'Virtue Ethics'. We finetune various models using a 'Virtuous agent' constitution, a 'Subordinate agent' constitution, and a 'Generic agent' constitution, and evaluate them on 'general safety' (toxic behaviors, misinformation, etc.) and also on their willingness to endorse a wide-range of behaviors that, if adopted by a super-powerful AI, would significantly increase the level of existential risk for humanity. Our results suggest that there is a trade-off between reducing existential risk and reinforcing the beliefs and dispositions that would be conducive to an AI agent's well-being. They also suggest that there is a trade-off between existential risk and general safety: if we finetune an AI to adopt beliefs and dispositions that substantially reduce its existential risk -- by shaping the AI to be systematically subordinate to external human authorities -- we thereby increase the likelihood that a human user can deliberately induce the AI to engage in various kinds of generally unsafe behaviors.
- Abstract（参考訳）: 本稿では,AIの安全性と幸福度とのトレードオフについて検討する。
(i)超能力AIを微調整する最も有望な方法の1つ、「構成AI」
(二)複雑な倫理的意思決定と合理的エージェントの幸福の条件を理解するための最も影響力のあるアプローチの一つとして「処女倫理」がある。
我々は,「処女エージェント」憲法,「従属エージェント」憲法,「属エージェント」憲法を用いて様々なモデルを精査し,それらを「一般安全」(有害な行動,誤報等)と,超能力AIに採用されれば,人類の生存リスクを著しく増大させるような幅広い行動を支持する意思に基づいて評価する。
我々の結果は、存在リスクの低減と、AIエージェントの幸福に寄与する信念と配置の強化の間にはトレードオフが存在することを示唆している。
彼らはまた、存在リスクと一般的な安全性の間にトレードオフがあることを示唆している。もしAIを微調整して、その存在リスクを著しく低減する信念や処分を適用すれば、AIを外部の人間当局に体系的に従属させることによって、人間のユーザは、AIに様々な安全でない振る舞いを意図的に誘導できる可能性を高める。
関連論文リスト
- The Ultimate Test of Superintelligent AI Agents: Can an AI Balance Care and Control in Asymmetric Relationships? [11.983461426678522]
シェパードテストは、超知能人工エージェントの道徳的および関係的な次元を評価するための新しい概念テストである。
私たちは、AIが知的エージェントを操作、育む、そして機器的に使用しない能力を示すときに、重要な、潜在的に危険な、知能のしきい値を越えることを主張する。
これには、自己利益と従属エージェントの幸福の間の道徳的なトレードオフを評価する能力が含まれる。
論文 参考訳（メタデータ） (2025-06-02T15:53:56Z) - Fully Autonomous AI Agents Should Not be Developed [50.61667544399082]
本稿では,完全自律型AIエージェントを開発すべきではないと主張している。
この立場を支持するために、我々は、従来の科学文献と現在の製品マーケティングから、異なるAIエージェントレベルを規定するために構築する。
分析の結果,システムの自律性によって人へのリスクが増大することが明らかとなった。
論文 参考訳（メタデータ） (2025-02-04T19:00:06Z) - Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。
私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
論文 参考訳（メタデータ） (2024-10-25T07:53:32Z) - Risk Alignment in Agentic AI Systems [0.0]
監視の少ない複雑な行動を実行することができるエージェントAIは、そのようなシステムをユーザ、開発者、社会と安全に構築し整合させる方法について、新たな疑問を提起する。
リスクアライメントは、ユーザの満足度と信頼には重要ですが、社会にさらに大きな影響をもたらします。
これらの質問の重要な規範的および技術的側面を論じる3つの論文を提示する。
論文 参考訳（メタデータ） (2024-10-02T18:21:08Z) - Human-AI Safety: A Descendant of Generative AI and Control Systems Safety [6.100304850888953]
先進的なAI技術に対する有意義な安全性保証には、AI出力と人間の振る舞いによって形成されるフィードバックループが、どのようにして異なる結果に向かって相互作用を駆動するかについての推論が必要である、と我々は主張する。
我々は、次世代の人間中心AI安全性に向けた具体的な技術ロードマップを提案する。
論文 参考訳（メタデータ） (2024-05-16T03:52:00Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - AI Potentiality and Awareness: A Position Paper from the Perspective of
Human-AI Teaming in Cybersecurity [18.324118502535775]
我々は、人間とAIのコラボレーションはサイバーセキュリティに価値があると論じている。
私たちは、AIの計算能力と人間の専門知識を取り入れたバランスのとれたアプローチの重要性を強調します。
論文 参考訳（メタデータ） (2023-09-28T01:20:44Z) - An Overview of Catastrophic AI Risks [38.84933208563934]
本稿では,破滅的なAIリスクの主な要因について概説し,その要因を4つのカテゴリに分類する。
個人やグループが意図的にAIを使用して危害を及ぼす悪用; 競争環境がアクターに安全でないAIを配置させたり、AIに制御を強制するAIレース。
組織的リスクは 人的要因と複雑なシステムが 破滅的な事故の 可能性を高めることを示しています
不正なAIは、人間よりもはるかにインテリジェントなエージェントを制御することの難しさを説明する。
論文 参考訳（メタデータ） (2023-06-21T03:35:06Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2023-04-16T11:22:59Z) - Bridging the Global Divide in AI Regulation: A Proposal for a Contextual, Coherent, and Commensurable Framework [0.9622882291833615]
本稿では、人工知能(AI)を制御するための文脈的・一貫性的・包括的枠組み(3C)を提案する。
コンテキスト性を確保するため、このフレームワークはAIライフサイクルを、基礎や汎用モデルを定義するのではなく、特定のタスクの学習とデプロイという2つのフェーズに分岐させる。
コンメンサビリティを確保するため、この枠組みはリスクの測定と緩和のための国際標準の採用を促進する。
論文 参考訳（メタデータ） (2023-03-20T15:23:40Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - Trustworthy AI: A Computational Perspective [54.80482955088197]
我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。
各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
論文 参考訳（メタデータ） (2021-07-12T14:21:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。