論文の概要: Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development
- arxiv url: http://arxiv.org/abs/2501.16946v1
- Date: Tue, 28 Jan 2025 13:45:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-29 16:42:07.753986
- Title: Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development
- Title（参考訳）: 漸進的分散:インクリメンタルAI開発によるシステム的存在リスク
- Authors: Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger, David Duvenaud,
- Abstract要約: 我々は、AI能力の漸進的な改善が、社会が依存する大規模システムに対する人間の影響力を損なうことができるかを分析する。
このダイナミクスは、重要な社会システムに対する人間の影響を効果的に不可逆的に喪失させ、人類の恒久的な分散を通じて、実在する大惨事を引き起こす可能性がある、と我々は主張する。
- 参考スコア（独自算出の注目度）: 15.701299669203618
- License:
- Abstract: This paper examines the systemic risks posed by incremental advancements in artificial intelligence, developing the concept of `gradual disempowerment', in contrast to the abrupt takeover scenarios commonly discussed in AI safety. We analyze how even incremental improvements in AI capabilities can undermine human influence over large-scale systems that society depends on, including the economy, culture, and nation-states. As AI increasingly replaces human labor and cognition in these domains, it can weaken both explicit human control mechanisms (like voting and consumer choice) and the implicit alignments with human interests that often arise from societal systems' reliance on human participation to function. Furthermore, to the extent that these systems incentivise outcomes that do not line up with human preferences, AIs may optimize for those outcomes more aggressively. These effects may be mutually reinforcing across different domains: economic power shapes cultural narratives and political decisions, while cultural shifts alter economic and political behavior. We argue that this dynamic could lead to an effectively irreversible loss of human influence over crucial societal systems, precipitating an existential catastrophe through the permanent disempowerment of humanity. This suggests the need for both technical research and governance approaches that specifically address the risk of incremental erosion of human influence across interconnected societal systems.
- Abstract（参考訳）: 本稿では,人工知能の段階的な進歩によって引き起こされるシステム的リスクを考察し,AIの安全性において一般的に議論される突発的な乗っ取りシナリオとは対照的に,段階的解脱という概念を考案する。
我々は、AI能力の漸進的な改善が、経済、文化、国家状態など、社会が依存する大規模システムに対する人間の影響力を損なうことができるかを分析する。
これらの領域における人間の労働力と認知をAIが置き換えるにつれて、明示的な人間のコントロール機構(投票や消費者の選択など)と、社会的システムによる機能への参加への依存からしばしば生じる人間の関心との暗黙の一致の両方を弱める可能性がある。
さらに、これらのシステムが人間の嗜好に沿わない結果にインセンティブを与える程度に、AIはこれらの結果に対してより積極的な最適化を行うことができる。
経済力は文化的な物語や政治的決定を形作るが、文化的な変化は経済的・政治的行動を変える。
このダイナミクスは、重要な社会システムに対する人間の影響を効果的に不可逆的に喪失させ、人類の恒久的な分散を通じて、実在する大惨事を引き起こす可能性がある、と我々は主張する。
このことは、相互接続された社会システムにまたがる人間の影響力の漸進的侵食のリスクに対処する技術研究とガバナンスのアプローチの両方の必要性を示唆している。
関連論文リスト
- Human Decision-making is Susceptible to AI-driven Manipulation [71.20729309185124]
AIシステムは、ユーザの認知バイアスと感情的な脆弱性を利用して、有害な結果に向けてそれらを操縦する。
本研究では、経済的・感情的な意思決定の文脈におけるこのような操作に対する人間の感受性について検討した。
論文 参考訳（メタデータ） (2025-02-11T15:56:22Z) - Causal Responsibility Attribution for Human-AI Collaboration [62.474732677086855]
本稿では,人間のAIシステムにおける責任を体系的に評価するために,構造因果モデル(SCM)を用いた因果的枠組みを提案する。
2つのケーススタディは、多様な人間とAIのコラボレーションシナリオにおけるフレームワークの適応性を示している。
論文 参考訳（メタデータ） (2024-11-05T17:17:45Z) - Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
AIシステムは知恵を欠いている。
AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。
メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
論文 参考訳（メタデータ） (2024-11-04T18:10:10Z) - Societal Adaptation to Advanced AI [1.2607853680700076]
先進的なAIシステムからリスクを管理する既存の戦略は、AIシステムの開発方法と拡散方法に影響を与えることに集中することが多い。
我々は、先進的なAIへの社会適応の増大という補完的なアプローチを奨励する。
我々は、AIシステムの潜在的に有害な使用を回避し、防御し、治療する適応的介入を特定するのに役立つ概念的枠組みを導入する。
論文 参考訳（メタデータ） (2024-05-16T17:52:12Z) - Exploiting the Margin: How Capitalism Fuels AI at the Expense of Minoritized Groups [0.0]
本稿では、資本主義、人種的不正、人工知能(AI)の関係について考察する。
それは、AIが時代遅れの搾取のための現代的な乗り物として機能する、と論じている。
本論文は、社会正義と株式を技術デザインと政策の核心に組み込むアプローチを推進している。
論文 参考訳（メタデータ） (2024-03-10T22:40:07Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - Are You Worthy of My Trust?: A Socioethical Perspective on the Impacts
of Trustworthy AI Systems on the Environment and Human Society [0.47138177023764666]
AIシステムの社会的影響を概観する。
ライフサイクルを通して、多分野のガバナンスと収束の必要性を強調します。
論文 参考訳（メタデータ） (2023-09-18T03:07:47Z) - Reflective Hybrid Intelligence for Meaningful Human Control in
Decision-Support Systems [4.1454448964078585]
本稿では,AIシステムに対する有意義な人間制御のための自己表現型AIシステムの概念を紹介する。
心理学と哲学の知識を形式的推論手法や機械学習アプローチと統合する枠組みを提案する。
我々は、自己反射型AIシステムは、自己反射型ハイブリッドシステム(人間+AI)に繋がると主張している。
論文 参考訳（メタデータ） (2023-07-12T13:32:24Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2023-04-16T11:22:59Z) - Examining the Differential Risk from High-level Artificial Intelligence
and the Question of Control [0.0]
将来のAI能力の範囲と範囲は、依然として重要な不確実性である。
AIの不透明な意思決定プロセスの統合と監視の程度には懸念がある。
本研究では、AIリスクをモデル化し、代替先分析のためのテンプレートを提供する階層的な複雑なシステムフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-06T15:46:02Z) - Building Bridges: Generative Artworks to Explore AI Ethics [56.058588908294446]
近年,人工知能(AI)技術が社会に与える影響の理解と緩和に重点が置かれている。
倫理的AIシステムの設計における重要な課題は、AIパイプラインには複数の利害関係者があり、それぞれがそれぞれ独自の制約と関心を持っていることだ。
このポジションペーパーは、生成的アートワークが、アクセス可能で強力な教育ツールとして機能することで、この役割を果たすことができる可能性のいくつかを概説する。
論文 参考訳（メタデータ） (2021-06-25T22:31:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。