論文の概要: AI Governance to Avoid Extinction: The Strategic Landscape and Actionable Research Questions

• arxiv url: http://arxiv.org/abs/2505.04592v1
• Date: Wed, 07 May 2025 17:35:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:36.168647
• Title: AI Governance to Avoid Extinction: The Strategic Landscape and Actionable Research Questions
• Title（参考訳）: 絶滅を避けるためのAIガバナンス - 戦略的なランドスケープと行動可能な研究の質問
• Authors: Peter Barnett, Aaron Scher,
• Abstract要約: 人間性は、人間のエキスパートを著しく上回るAIシステムを開発するために、間もなく進もうとしているようだ。 我々は、デフォルトの軌道は人類の絶滅を含む大惨事の可能性が高いと信じている。 リスクは、強力なAIシステムを制御できないこと、悪意ある悪役によるAIの誤用、大国間の戦争、権威主義的なロックインなどにある。
• 参考スコア（独自算出の注目度）: 2.07180164747172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humanity appears to be on course to soon develop AI systems that substantially outperform human experts in all cognitive domains and activities. We believe the default trajectory has a high likelihood of catastrophe, including human extinction. Risks come from failure to control powerful AI systems, misuse of AI by malicious rogue actors, war between great powers, and authoritarian lock-in. This research agenda has two aims: to describe the strategic landscape of AI development and to catalog important governance research questions. These questions, if answered, would provide important insight on how to successfully reduce catastrophic risks. We describe four high-level scenarios for the geopolitical response to advanced AI development, cataloging the research questions most relevant to each. Our favored scenario involves building the technical, legal, and institutional infrastructure required to internationally restrict dangerous AI development and deployment (which we refer to as an Off Switch), which leads into an internationally coordinated Halt on frontier AI activities at some point in the future. The second scenario we describe is a US National Project for AI, in which the US Government races to develop advanced AI systems and establish unilateral control over global AI development. We also describe two additional scenarios: a Light-Touch world similar to that of today and a Threat of Sabotage situation where countries use sabotage and deterrence to slow AI development. In our view, apart from the Off Switch and Halt scenario, all of these trajectories appear to carry an unacceptable risk of catastrophic harm. Urgent action is needed from the US National Security community and AI governance ecosystem to answer key research questions, build the capability to halt dangerous AI activities, and prepare for international AI agreements.
• Abstract（参考訳）: 人間性は、すべての認知領域や活動において、人間の専門家を著しく上回るAIシステムを開発するために、間もなく進もうとしているようだ。 デフォルトの軌道は、人類の絶滅を含む破滅の確率が高いと私たちは信じています。 リスクは、強力なAIシステムを制御できないこと、悪意ある悪役によるAIの誤用、大国間の戦争、権威主義的なロックインなどにある。 この研究課題には、AI開発の戦略的状況を説明することと、重要なガバナンス研究の質問をカタログ化する、という2つの目的がある。 これらの疑問は、もし答えれば、破滅的なリスクをうまく減らす方法について重要な洞察を与えるだろう。 先進的なAI開発に対する地政学的対応に関する4つの高レベルシナリオについて述べる。 我々の好むシナリオは、危険なAI開発と展開を国際的に制限するために必要な技術的、法的、制度的なインフラを構築すること(これはOff Switchと呼んでいる)であり、将来的には、フロンティアAI活動に関して国際的に調整されたハルトにつながります。 第2のシナリオは、米国政府が先進的なAIシステムの開発と、グローバルなAI開発に対する一方的なコントロールを確立するために競う、AIのための米国国家プロジェクトです。 また、今日のようなLight-Touchの世界と、国がAI開発を遅らせるためにサボタージュと抑止力を使用する脅威の脅威という2つのシナリオについても説明します。 われわれの見解では、オフスイッチとハルトのシナリオとは別に、これらすべての軌道は破滅的な被害の許容できないリスクを負っているようだ。 米国国家安全保障コミュニティとAIガバナンスエコシステムから、重要な研究質問に答え、危険なAI活動を止める能力を構築し、国際AI協定の準備をするために、緊急行動が必要である。

関連論文リスト

• Who is Responsible When AI Fails? Mapping Causes, Entities, and Consequences of AI Privacy and Ethical Incidents [29.070947259551478]
  私たちは202の現実世界のAIプライバシと倫理的インシデントを分析しました。 これにより、AIライフサイクルステージにまたがるインシデントタイプを分類する分類が作成される。 原因、責任ある実体、開示源、影響などの文脈的要因を考慮に入れている。
  論文  参考訳（メタデータ） (2025-03-28T21:57:38Z)
• AI threats to national security can be countered through an incident regime [55.2480439325792]
  我々は、AIシステムからの潜在的な国家安全保障脅威に対抗することを目的とした、法的に義務付けられたポストデプロイAIインシデントシステムを提案する。 提案したAIインシデント体制は,3段階に分けられる。第1フェーズは,‘AIインシデント’とみなすような,新たな運用方法を中心に展開される。 第2フェーズと第3フェーズでは、AIプロバイダが政府機関にインシデントを通知し、政府機関がAIプロバイダのセキュリティおよび安全手順の修正に関与するべきだ、と説明されている。
  論文  参考訳（メタデータ） (2025-03-25T17:51:50Z)
• Superintelligence Strategy: Expert Version [64.7113737051525]
  AI開発を不安定にすることで、大国間の対立の可能性が高まる可能性がある。 スーパーインテリジェンス — ほぼすべての認知タスクにおいて、AIが人間よりもはるかに優れている — が、AI研究者によって期待されている。 本稿では,相互保証型AI誤動作の概念を紹介する。
  論文  参考訳（メタデータ） (2025-03-07T17:53:24Z)
• Taking control: Policies to address extinction risks from AI [0.0]
  AI企業からの自発的なコミットメントは不適切で不十分な反応である、と私たちは主張する。 先進的なAIの脅威に有意義に対処する3つの政策提案について述べる。
  論文  参考訳（メタデータ） (2023-10-31T15:53:14Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• Socially Responsible AI Algorithms: Issues, Purposes, and Challenges [31.382000425295885]
  技術者とAI研究者は、信頼できるAIシステムを開発する責任がある。 AIと人間の長期的な信頼を構築するためには、アルゴリズムの公正性を超えて考えることが鍵だ、と私たちは主張する。
  論文  参考訳（メタデータ） (2021-01-01T17:34:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。