論文の概要: Who's Driving? Game Theoretic Path Risk of AGI Development
- arxiv url: http://arxiv.org/abs/2501.15280v1
- Date: Sat, 25 Jan 2025 17:13:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-28 13:59:48.544036
- Title: Who's Driving? Game Theoretic Path Risk of AGI Development
- Title（参考訳）: 誰が運転しているのか : AGI開発におけるゲーム理論パスのリスク
- Authors: Robin Young,
- Abstract要約: 人工知能(Artificial General Intelligence, AGI)の開発を誰がコントロールするかは、私たちがコントロールそのもののために戦う方法よりも重要かもしれない。
我々は、この「ハンドル問題」を、人類の最も大きな短期的存在リスクは、AGIのミスアライメントではなく、それを開発するための競争のダイナミクスから生じるものであるとして定式化する。
本稿では,AGI開発ダイナミクスをモデル化したゲーム理論フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Who controls the development of Artificial General Intelligence (AGI) might matter less than how we handle the fight for control itself. We formalize this "steering wheel problem" as humanity's greatest near-term existential risk may stem not from misaligned AGI, but from the dynamics of competing to develop it. Just as a car crash can occur from passengers fighting over the wheel before reaching any destination, catastrophic outcomes could arise from development competition long before AGI exists. While technical alignment research focuses on ensuring safe arrival, we show how coordination failures during development could drive us off the cliff first. We present a game theoretic framework modeling AGI development dynamics and prove conditions for sustainable cooperative equilibria. Drawing from nuclear control while accounting for AGI's unique characteristics, we propose concrete mechanisms including pre-registration, shared technical infrastructure, and automated deterrence to stabilize cooperation. Our key insight is that AGI creates network effects in safety: shared investments become more valuable as participation grows, enabling mechanism designs where cooperation dominates defection. This work bridges formal methodology and policy frameworks, providing foundations for practical governance of AGI competition risks.
- Abstract（参考訳）: 人工知能(Artificial General Intelligence, AGI)の開発を誰がコントロールするかは、私たちがコントロールそのもののために戦う方法よりも重要かもしれない。
我々は、この「ハンドル問題」を、人類の最も大きな短期的存在リスクは、AGIのミスアライメントではなく、それを開発するための競争のダイナミクスから生じるものであるとして定式化する。
目的地に到達する前に車輪の上で戦う乗客が自動車事故を起こすのと同じように、AGIが存在するずっと前から開発競争によって破滅的な結果が生じる可能性がある。
技術的アライメントの研究は、安全な到着を保証することに焦点を当てていますが、開発中の調整の失敗が、最初に崖から追い出す方法を示しています。
本稿では,AGI開発ダイナミクスをモデル化したゲーム理論フレームワークを提案する。
我々は,AGIのユニークな特徴を考慮しつつ,原子力制御から引き出された,事前登録,共有技術基盤,協調の安定化のための自動抑止機構など,具体的なメカニズムを提案する。
私たちの重要な洞察は、AGIが安全性にネットワーク効果を生み出すことである。
この作業は形式的な方法論と政策の枠組みを橋渡しし、AGI競争リスクの実践的なガバナンスの基礎を提供します。
関連論文リスト
- Using AI Alignment Theory to understand the potential pitfalls of regulatory frameworks [55.2480439325792]
本稿では、欧州連合の人工知能法(EU AI法)を批判的に検討する。
人工知能における技術的アライメントの潜在的な落とし穴に焦点を当てたアライメント理論(AT)研究からの洞察を利用する。
これらの概念をEU AI Actに適用すると、潜在的な脆弱性と規制を改善するための領域が明らかになる。
論文 参考訳（メタデータ） (2024-10-10T17:38:38Z) - Beyond Accidents and Misuse: Decoding the Structural Risk Dynamics of Artificial Intelligence [0.0]
本稿では,社会・経済・政治システム間の高度AIシステムの迅速な統合に伴う構造的リスクの概念について考察する。
技術的進歩と社会的ダイナミクスの相互作用を分析することにより、構造リスクの3つの主要なカテゴリを分離する。
これらのリスクを駆動する因果連鎖を理解するための包括的枠組みを提示し、構造的力の相互依存と、誤用やシステム障害のより近親的なリスクを強調した。
論文 参考訳（メタデータ） (2024-06-21T05:44:50Z) - Work-in-Progress: Crash Course: Can (Under Attack) Autonomous Driving Beat Human Drivers? [60.51287814584477]
本稿では,現在のAVの状況を調べることによって,自律運転における本質的なリスクを評価する。
AVの利点と、現実のシナリオにおける潜在的なセキュリティ課題との微妙なバランスを強調した、特定のクレームを開発する。
論文 参考訳（メタデータ） (2024-05-14T09:42:21Z) - Near to Mid-term Risks and Opportunities of Open-Source Generative AI [94.06233419171016]
Generative AIの応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の影響の可能性は、潜在的なリスクに関する活発な議論を引き起こし、より厳格な規制を要求した。
この規制は、オープンソースのジェネレーティブAIの誕生する分野を危険にさらしている可能性が高い。
論文 参考訳（メタデータ） (2024-04-25T21:14:24Z) - What's my role? Modelling responsibility for AI-based safety-critical
systems [1.0549609328807565]
開発者や製造業者は、AI-SCSの有害な振る舞いに責任を負うことは困難である。
人間のオペレータは、作成に責任を負わなかったAI-SCS出力の結果に責任を負う"信頼性シンク"になる可能性がある。
本稿では,異なる責任感(ロール,モラル,法的,因果関係)と,それらがAI-SCSの安全性の文脈でどのように適用されるかを検討する。
論文 参考訳（メタデータ） (2023-12-30T13:45:36Z) - RACER: Rational Artificial Intelligence Car-following-model Enhanced by
Reality [51.244807332133696]
本稿では,アダプティブ・クルーズ・コントロール(ACC)運転行動を予測する,最先端の深層学習車追従モデルであるRACERを紹介する。
従来のモデルとは異なり、RACERは実走行の重要な要素であるRDC(Rational Driving Constraints)を効果的に統合している。
RACERはアクセラレーション、ベロシティ、スペーシングといった主要なメトリクスを網羅し、ゼロ違反を登録する。
論文 参考訳（メタデータ） (2023-12-12T06:21:30Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - The Promise and Peril of Artificial Intelligence -- Violet Teaming
Offers a Balanced Path Forward [56.16884466478886]
本稿では、不透明で制御不能なAIシステムにおける新興問題についてレビューする。
信頼性と責任のあるAIを開発するために、紫外チームと呼ばれる統合フレームワークを提案する。
それは、設計によって積極的にリスクを管理するためのAI安全研究から生まれた。
論文 参考訳（メタデータ） (2023-08-28T02:10:38Z) - A Game-Theoretic Framework for AI Governance [8.658519485150423]
規制当局とAI企業間の戦略的相互作用は、Stackelbergのゲームを連想させる固有の構造を持っていることを示す。
本稿では,AIガバナンスのためのゲーム理論モデリングフレームワークを提案する。
私たちの知る限りでは、この研究はAIガバナンスの分析と構造化にゲーム理論を使った最初のものである。
論文 参考訳（メタデータ） (2023-05-24T08:18:42Z) - Towards Safe, Explainable, and Regulated Autonomous Driving [11.043966021881426]
本稿では、自律制御、説明可能なAI(XAI)、規制コンプライアンスを統合するフレームワークを提案する。
フレームワークの目標を達成するのに役立つ、関連するXAIアプローチについて説明します。
論文 参考訳（メタデータ） (2021-11-20T05:06:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。