論文の概要: Is Power-Seeking AI an Existential Risk?

• arxiv url: http://arxiv.org/abs/2206.13353v1
• Date: Thu, 16 Jun 2022 17:58:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-04 01:18:38.915789
• Title: Is Power-Seeking AI an Existential Risk?
• Title（参考訳）: パワーシーキングaiは存在リスクか?
• Authors: Joseph Carlsmith
• Abstract要約: 本報告では、人工知能の実在リスクに関する懸念の核となる論点として、私が見ているものについて考察する。 私は、この種のエージェントを作成することが2070年までに実在の災害につながるという、より具体的な6つの前提の議論を定式化し、評価します。 私は、2070年までにこの種の実在する災害が起こるという、全体の5%の見積もりにたどり着きました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This report examines what I see as the core argument for concern about existential risk from misaligned artificial intelligence. I proceed in two stages. First, I lay out a backdrop picture that informs such concern. On this picture, intelligent agency is an extremely powerful force, and creating agents much more intelligent than us is playing with fire -- especially given that if their objectives are problematic, such agents would plausibly have instrumental incentives to seek power over humans. Second, I formulate and evaluate a more specific six-premise argument that creating agents of this kind will lead to existential catastrophe by 2070. On this argument, by 2070: (1) it will become possible and financially feasible to build relevantly powerful and agentic AI systems; (2) there will be strong incentives to do so; (3) it will be much harder to build aligned (and relevantly powerful/agentic) AI systems than to build misaligned (and relevantly powerful/agentic) AI systems that are still superficially attractive to deploy; (4) some such misaligned systems will seek power over humans in high-impact ways; (5) this problem will scale to the full disempowerment of humanity; and (6) such disempowerment will constitute an existential catastrophe. I assign rough subjective credences to the premises in this argument, and I end up with an overall estimate of ~5% that an existential catastrophe of this kind will occur by 2070. (May 2022 update: since making this report public in April 2021, my estimate here has gone up, and is now at >10%.)
• Abstract（参考訳）: 本報告は,人工知能による存在リスクに対する懸念の核となる論点を考察する。 私は2段階進みます。 まず、このような懸念を知らせる背景画像を作成します。 この図では、インテリジェント・エージェンシーは極めて強力な力であり、我々よりも知的なエージェントを生み出すことは、火で遊んでいるよりもずっと重要だ。 第2に、この種のエージェントを作成することが2070年までに実在の災害につながるという、より具体的な6つの前提の議論を定式化し、評価する。 On this argument, by 2070: (1) it will become possible and financially feasible to build relevantly powerful and agentic AI systems; (2) there will be strong incentives to do so; (3) it will be much harder to build aligned (and relevantly powerful/agentic) AI systems than to build misaligned (and relevantly powerful/agentic) AI systems that are still superficially attractive to deploy; (4) some such misaligned systems will seek power over humans in high-impact ways; (5) this problem will scale to the full disempowerment of humanity; and (6) such disempowerment will constitute an existential catastrophe. 私は、この議論の前提に粗悪な主観的クレデンスを割り当て、2070年までにこの種の実在する災害が起こるという全体推定を約5%とします。 (2022年5月のアップデート:このレポートを2021年4月に公開して以来、私の予想は上がっていて、現在は10%です。)

関連論文リスト

• Taking AI Welfare Seriously [0.5617572524191751]
  我々は、近い将来、一部のAIシステムが意識的または堅牢に作用する可能性があると論じている。 これは近い将来の問題であり、AI企業や他のアクターはそれを真剣に取り始める責任がある。
  論文  参考訳（メタデータ） (2024-11-04T17:57:57Z)
• Using AI Alignment Theory to understand the potential pitfalls of regulatory frameworks [55.2480439325792]
  本稿では、欧州連合の人工知能法(EU AI法)を批判的に検討する。 人工知能における技術的アライメントの潜在的な落とし穴に焦点を当てたアライメント理論(AT)研究からの洞察を利用する。 これらの概念をEU AI Actに適用すると、潜在的な脆弱性と規制を改善するための領域が明らかになる。
  論文  参考訳（メタデータ） (2024-10-10T17:38:38Z)
• Hype, Sustainability, and the Price of the Bigger-is-Better Paradigm in AI [67.58673784790375]
  AIパラダイムは、科学的に脆弱なだけでなく、望ましくない結果をもたらすものだ、と私たちは主張する。 第一に、計算要求がモデルの性能よりも早く増加し、不合理な経済要求と不均等な環境フットプリントにつながるため、持続可能ではない。 第二に、健康、教育、気候などの重要な応用は別として、他人を犠牲にして特定の問題に焦点をあてることである。
  論文  参考訳（メタデータ） (2024-09-21T14:43:54Z)
• What Do People Think about Sentient AI? [0.0]
  先進的AIの話題に関する全国的に代表的な調査データを提示する。 2021年に1波、2023年に2波のデータ収集を行い、AIの幸福に対する心の認識と道徳的懸念は予想以上に高かった。 我々は、AIが賢明になるかどうかに関わらず、議論そのものが人間とコンピュータのインタラクションをオーバーホールするかもしれないと論じる。
  論文  参考訳（メタデータ） (2024-07-11T21:04:39Z)
• Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
  エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。 本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
  論文  参考訳（メタデータ） (2024-02-28T16:09:56Z)
• Ten Hard Problems in Artificial Intelligence We Must Get Right [72.99597122935903]
  AIの約束を阻止し、AIのリスクを引き起こすAI2050の「ハード問題」について検討する。 それぞれの問題について、その領域を概説し、最近の重要な作業を特定し、今後の方向性を提案する。
  論文  参考訳（メタデータ） (2024-02-06T23:16:41Z)
• Artificial Intelligence: Arguments for Catastrophic Risk [0.0]
  我々は、AIが破滅的なリスクにどう影響するかを示すために、2つの影響力ある議論をレビューする。 電力探究の問題の最初の議論は、先進的なAIシステムが危険な電力探究行動に関与する可能性が高いと主張している。 第2の主張は、人間レベルのAIの開発が、さらなる進歩を早めるだろう、というものである。
  論文  参考訳（メタデータ） (2024-01-27T19:34:13Z)
• Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
  AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。 偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。 問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-04-16T11:22:59Z)
• Low impact agency: review and discussion [0.0]
  強力な人工知能は、AIがその目標を追求して世界を大きく変えることを決断した場合、現実的な脅威となる。 低影響の人工知能の望みは、AIがそれをしないよう動機づけることである。
  論文  参考訳（メタデータ） (2023-03-06T13:55:42Z)
• On Avoiding Power-Seeking by Artificial Intelligence [93.9264437334683]
  私たちは、非常にインテリジェントなAIエージェントの振る舞いと人間の関心を協調する方法を知りません。 私は、世界に限られた影響を与え、自律的に力を求めないスマートAIエージェントを構築できるかどうか調査する。
  論文  参考訳（メタデータ） (2022-06-23T16:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。