論文の概要: On the Unimportance of Superintelligence
- arxiv url: http://arxiv.org/abs/2109.07899v1
- Date: Mon, 30 Aug 2021 01:23:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 18:44:07.379341
- Title: On the Unimportance of Superintelligence
- Title(参考訳): 超知能の不適合性について
- Authors: John G. Sotos
- Abstract要約: スーパーインテリジェンスのリスクを軽減するため、資源配分の優先順位を分析します。
第1部は、外部に接続されていない超知能が脅威を及ぼさないことを観察する。
第2部では、バイオテクノロジーが周辺システムに高いリスクを負うことを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humankind faces many existential threats, but has limited resources to
mitigate them. Choosing how and when to deploy those resources is, therefore, a
fateful decision. Here, I analyze the priority for allocating resources to
mitigate the risk of superintelligences.
Part I observes that a superintelligence unconnected to the outside world
(de-efferented) carries no threat, and that any threat from a harmful
superintelligence derives from the peripheral systems to which it is connected,
e.g., nuclear weapons, biotechnology, etc. Because existentially-threatening
peripheral systems already exist and are controlled by humans, the initial
effects of a superintelligence would merely add to the existing human-derived
risk. This additive risk can be quantified and, with specific assumptions, is
shown to decrease with the square of the number of humans having the capability
to collapse civilization.
Part II proposes that biotechnology ranks high in risk among peripheral
systems because, according to all indications, many humans already have the
technological capability to engineer harmful microbes having pandemic spread.
Progress in biomedicine and computing will proliferate this threat. ``Savant''
software that is not generally superintelligent will underpin much of this
progress, thereby becoming the software responsible for the highest and most
imminent existential risk -- ahead of hypothetical risk from
superintelligences.
The analysis concludes that resources should be preferentially applied to
mitigating the risk of peripheral systems and savant software. Concerns about
superintelligence are at most secondary, and possibly superfluous.
- Abstract(参考訳): 人類は多くの存在の脅威に直面しているが、それらを軽減するための資源は限られている。
したがって、これらのリソースのデプロイ方法と時期を選択することは、運命的な決定である。
本稿では,超知能のリスクを軽減するために資源割当の優先順位を分析する。
第1部は、外部と無関係(非効率)な超知能は脅威を持たず、有害な超知能からの脅威は、核兵器やバイオテクノロジーなど、それが接続されている周辺システムから生じるものであることを観察する。
存在を脅かす周辺システムは既に存在し、人間によって制御されているため、超知能の最初の効果は、単に既存の人間由来のリスクを増加させるだけである。
この付加的リスクは定量化することができ、特定の仮定で文明を崩壊させる能力を持つ人間の数の2乗で減少することが示される。
第2部では、パンデミックが広まる有害な微生物を工学する技術をすでに持っている人が多いため、バイオテクノロジーは周辺システムの中で高いリスクをランク付けしている。
バイオメディカルとコンピューティングの進歩は、この脅威を広めるだろう。
一般に超知能でない''ソフトウェアは、この進歩の多くを後押しし、超知能による仮説上のリスクに先立ち、最高かつ最も差し迫った存在リスクの責任を負うソフトウェアとなる。
この分析は、周辺システムとサバントソフトウェアのリスクを軽減するために、リソースを優先的に適用すべきと結論づけている。
超知能に関する懸念は、最も二次的で、おそらくは超流動的である。
関連論文リスト
- Hype, Sustainability, and the Price of the Bigger-is-Better Paradigm in AI [67.58673784790375]
AIパラダイムは、科学的に脆弱なだけでなく、望ましくない結果をもたらすものだ、と私たちは主張する。
第一に、計算要求がモデルの性能よりも早く増加し、不合理な経済要求と不均等な環境フットプリントにつながるため、持続可能ではない。
第二に、健康、教育、気候などの重要な応用は別として、他人を犠牲にして特定の問題に焦点をあてることである。
論文 参考訳(メタデータ) (2024-09-21T14:43:54Z) - Risks and Opportunities of Open-Source Generative AI [64.86989162783648]
Generative AI(Gen AI)の応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の変化の可能性は、この技術の潜在的なリスクについて活発に議論を巻き起こし、より厳格な規制を要求した。
この規制は、オープンソースの生成AIの誕生する分野を危険にさらす可能性がある。
論文 参考訳(メタデータ) (2024-05-14T13:37:36Z) - Near to Mid-term Risks and Opportunities of Open-Source Generative AI [94.06233419171016]
Generative AIの応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の影響の可能性は、潜在的なリスクに関する活発な議論を引き起こし、より厳格な規制を要求した。
この規制は、オープンソースのジェネレーティブAIの誕生する分野を危険にさらしている可能性が高い。
論文 参考訳(メタデータ) (2024-04-25T21:14:24Z) - Artificial Intelligence: Arguments for Catastrophic Risk [0.0]
我々は、AIが破滅的なリスクにどう影響するかを示すために、2つの影響力ある議論をレビューする。
電力探究の問題の最初の議論は、先進的なAIシステムが危険な電力探究行動に関与する可能性が高いと主張している。
第2の主張は、人間レベルのAIの開発が、さらなる進歩を早めるだろう、というものである。
論文 参考訳(メタデータ) (2024-01-27T19:34:13Z) - Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。
化学科学における誤用の実例を取り上げる。
我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
論文 参考訳(メタデータ) (2023-12-11T18:50:57Z) - Close the Gates: How we can keep the future human by choosing not to develop superhuman general-purpose artificial intelligence [0.20919309330073077]
今後数年で、人類は汎用AIを作成することによって、不可逆的にしきい値を越えるかもしれない。
これは、人間の社会の中核的な側面を上回り、多くの前例のないリスクを生じさせ、いくつかの意味で制御不能になる可能性がある。
まず、ニューラルネットワークのトレーニングと実行に使用できる計算に厳しい制限を課すことから始めます。
こうした制限がある中で、AIの研究と産業は、人間が理解し制御できる狭義の汎用AIと、そこから大きな利益を享受することのできる汎用AIの両方に焦点を絞ることができる。
論文 参考訳(メタデータ) (2023-11-15T23:41:12Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳(メタデータ) (2023-10-26T17:59:06Z) - An Overview of Catastrophic AI Risks [38.84933208563934]
本稿では,破滅的なAIリスクの主な要因について概説し,その要因を4つのカテゴリに分類する。
個人やグループが意図的にAIを使用して危害を及ぼす悪用; 競争環境がアクターに安全でないAIを配置させたり、AIに制御を強制するAIレース。
組織的リスクは 人的要因と複雑なシステムが 破滅的な事故の 可能性を高めることを示しています
不正なAIは、人間よりもはるかにインテリジェントなエージェントを制御することの難しさを説明する。
論文 参考訳(メタデータ) (2023-06-21T03:35:06Z) - Current and Near-Term AI as a Potential Existential Risk Factor [5.1806669555925975]
我々は、現在および短期的な人工知能技術が、現実的なリスクに寄与する可能性があるという考えを問題視する。
我々は、すでに文書化されているAIの効果が、実在するリスク要因として機能する、という仮説を提案する。
私たちの主な貢献は、潜在的なAIリスク要因とそれら間の因果関係の展示です。
論文 参考訳(メタデータ) (2022-09-21T18:56:14Z) - How Do AI Timelines Affect Existential Risk? [0.0]
超知能AI(ASI)作成の遅れは、AIアライメント問題に人類が取り組む時間を増やすことによって、全体の生存リスクを減少させる可能性がある。
ASIは、ほとんどのリスクを減らすことができるため、ASIの作成の遅れは、他の既存のリスクを増大させる可能性がある。
戦争やハードウェアのオーバーハングといった他の要因は、AIのリスクを増大させ、認知の強化はAIのリスクを減少させる可能性がある。
論文 参考訳(メタデータ) (2022-08-30T15:49:11Z) - Inductive Biases for Deep Learning of Higher-Level Cognition [108.89281493851358]
興味深い仮説は、人間と動物の知性はいくつかの原則によって説明できるということである。
この研究は、主に高いレベルとシーケンシャルな意識的処理に関心のある人を中心に、より大きなリストを考察する。
これらの特定の原則を明確にする目的は、人間の能力から恩恵を受けるAIシステムを構築するのに役立つ可能性があることである。
論文 参考訳(メタデータ) (2020-11-30T18:29:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。