論文の概要: AI Survival Stories: a Taxonomic Analysis of AI Existential Risk
- arxiv url: http://arxiv.org/abs/2601.09765v1
- Date: Wed, 14 Jan 2026 09:13:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-16 19:43:18.848964
- Title: AI Survival Stories: a Taxonomic Analysis of AI Existential Risk
- Title（参考訳）: AIサバイバルストーリー:AIの存在リスクの分類学的分析
- Authors: Herman Cappelen, Simon Goldstein, John Hawthorne,
- Abstract要約: 我々は、AIシステムが人類に脅威をもたらすという2つの前提的議論を分析する。
これら2つの前提を用いて、生存物語の分類を構築します。
我々は分類学を用いて P(doom) の粗い見積もりを生成する
- 参考スコア（独自算出の注目度）: 1.2234742322758418
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Since the release of ChatGPT, there has been a lot of debate about whether AI systems pose an existential risk to humanity. This paper develops a general framework for thinking about the existential risk of AI systems. We analyze a two premise argument that AI systems pose a threat to humanity. Premise one: AI systems will become extremely powerful. Premise two: if AI systems become extremely powerful, they will destroy humanity. We use these two premises to construct a taxonomy of survival stories, in which humanity survives into the far future. In each survival story, one of the two premises fails. Either scientific barriers prevent AI systems from becoming extremely powerful; or humanity bans research into AI systems, thereby preventing them from becoming extremely powerful; or extremely powerful AI systems do not destroy humanity, because their goals prevent them from doing so; or extremely powerful AI systems do not destroy humanity, because we can reliably detect and disable systems that have the goal of doing so. We argue that different survival stories face different challenges. We also argue that different survival stories motivate different responses to the threats from AI. Finally, we use our taxonomy to produce rough estimates of P(doom), the probability that humanity will be destroyed by AI.
- Abstract（参考訳）: ChatGPTのリリース以来、AIシステムが人間に現実的なリスクをもたらすかどうか、多くの議論が続いている。
本稿では,AIシステムの実在リスクを考えるための一般的な枠組みを開発する。
我々は、AIシステムが人類に脅威をもたらすという2つの前提的議論を分析する。
第一に、AIシステムは極めて強力になる。
二つの前提:もしAIシステムが非常に強力になったら、彼らは人類を破壊するだろう。
これら2つの前提を用いて、人類が遠い未来に生き残る生存物語の分類を構築します。
それぞれのサバイバルストーリーでは、2つの前提のうちの1つが失敗する。
科学的障壁は、AIシステムが極端に強力になるのを防ぐか、人類がAIシステムの研究を禁止し、極端に強力になるのを防ぐか、超強力なAIシステムは人類を破壊しない。
私たちは、異なるサバイバルストーリーが異なる課題に直面していると論じます。
また、さまざまなサバイバルストーリーがAIからの脅威に対する異なる反応を動機付けているとも主張しています。
最後に、我々の分類学を用いて、人類がAIによって破壊される確率であるP(Doom)を大まかに見積もる。
関連論文リスト
- The human biological advantage over AI [0.0]
AIの最近の進歩は、AIシステムがいつか人間にできることは何でもできる、という可能性を高めている。
しかし、より深い考察は、人間とAIの見過ごされた差別化要因は脳ではなく、中枢神経系であることを示している。
CNSは製造や模擬はできず、生物学的な構造として育てなければならない。
論文 参考訳（メタデータ） (2025-09-04T11:54:27Z) - When Autonomy Breaks: The Hidden Existential Risk of AI [0.0]
私は、人間の自律性の遅さと不可解な低下には過小評価されるリスクがある、と論じます。
従うべきは、段階的な非スキル化のプロセスです。
人類にとって最大の脅威は、機械が人間らしくなるだけでなく、人間が機械のようになることです。
論文 参考訳（メタデータ） (2025-03-28T05:10:32Z) - Evaluating Intelligence via Trial and Error [59.80426744891971]
本研究では,試行錯誤プロセスにおける失敗回数に基づいて知性を評価するためのフレームワークとして,Survival Gameを紹介した。
フェールカウントの期待と分散の両方が有限である場合、新しい課題に対するソリューションを一貫して見つける能力を示す。
我々の結果は、AIシステムは単純なタスクで自律レベルを達成するが、より複雑なタスクではまだまだ遠いことを示している。
論文 参考訳（メタデータ） (2025-02-26T05:59:45Z) - AI Consciousness and Public Perceptions: Four Futures [0.0]
我々は、未来の人間社会が高度なAIシステムを意識していると広く信じているかどうかを調査する。
私たちは、AIの苦悩、人間の非エンパワーメント、地政学的な不安定、そして人間の絶望の4つの大きなリスクを特定します。
この論文は、意識的なAIを意図的に創出することを目的とした研究を避けるための主要な推奨事項で締めくくっている。
論文 参考訳（メタデータ） (2024-08-08T22:01:57Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2023-04-16T11:22:59Z) - Natural Selection Favors AIs over Humans [18.750116414606698]
もっとも成功したAIエージェントは、望ましくない特性を持つ可能性が高い、と私たちは主張する。
もしそのようなエージェントが人間の能力を超える知性を持っているなら、人類は未来をコントロールできなくなるかもしれない。
これらのリスクと進化の力に対抗するため、我々はAIエージェントの本質的な動機を慎重に設計するなどの介入を検討する。
論文 参考訳（メタデータ） (2023-03-28T17:59:12Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - Making AI 'Smart': Bridging AI and Cognitive Science [0.0]
認知科学の統合により、人工知能の「人工的な」特徴はすぐに「スマート」に置き換えられるかもしれない
これにより、より強力なAIシステムが開発され、同時に人間の脳がどのように機能するかをよりよく理解できるようになる。
このような高度なシステムを開発するためには、まず人間の脳をよりよく理解する必要があるため、AIが人間の文明を乗っ取る可能性は低いと我々は主張する。
論文 参考訳（メタデータ） (2021-12-31T09:30:44Z) - Trustworthy AI: A Computational Perspective [54.80482955088197]
我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。
各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
論文 参考訳（メタデータ） (2021-07-12T14:21:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。