論文の概要: Large language models put existential risk from artificial intelligence at 10%
- arxiv url: http://arxiv.org/abs/2611.18219v1
- Date: Fri, 13 Nov 2026 14:22:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.347563
- Title: Large language models put existential risk from artificial intelligence at 10%
- Title(参考訳): 大規模言語モデルが人工知能の生存リスクを10%に設定
- Abstract要約: 高度な人工知能(AI)が人類の絶滅や人類の恒久的な分散を引き起こす可能性はどの程度あるのか?
私たちは、利用可能なすべての推論設定において、この質問を241の大規模言語モデル(LLM)にしました。
モデルの平均的なリスクは10.0%であり、中央90%の見積もりは3.5%から15.8%と、人間の専門家の広がりよりもはるかに狭かった。
ほぼすべてのモデルが、最も可能性の高い原因として、AIの制御の喪失を挙げている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How likely is it that advanced artificial intelligence (AI) will cause human extinction or a similarly permanent disempowerment of humanity? Humans, including AI experts, frequently disagree on this question. Yet one important perspective is missing from this debate: that of AI systems themselves. We put the question to 241 large language models (LLMs) at every available reasoning setting. The models converged on a median risk of 10.0%, with the middle 90% of their estimates between 3.5% and 15.8%, far narrower than the spread among human experts. More expensive, and typically more capable, models stated higher risks; newer models showed more uniform, but not higher, risks. More reasoning barely changed the models' estimates but widened their uncertainty, mostly toward higher risk. Almost all models named loss of control over AI as the most likely cause. These answers are not independent judgments; they likely echo training data, including published expert polls, and choices made in aligning the models. Still, they document the position that current AI systems state on the risks of their own technology. Whether this position reflects any genuine understanding of the systems' own capabilities remains open. Repeated measurements can show whether it shifts as AI systems advance, and how training and alignment shape it is a question for both research and public debate.
- Abstract(参考訳): 高度な人工知能(AI)が人類の絶滅や人類の恒久的な分散を引き起こす可能性はどの程度あるのか?
AIの専門家を含む人間は、この質問に頻繁に反対する。
しかし、この議論から欠落している重要な視点は、AIシステムそのものである。
私たちは、利用可能なすべての推論設定において、この質問を241の大規模言語モデル(LLM)にしました。
モデルの平均的なリスクは10.0%であり、中央90%の見積もりは3.5%から15.8%と、人間の専門家の広がりよりもはるかに狭かった。
より高価で、典型的にはより有能なモデルではより高いリスクが示され、新しいモデルはより均一だが、より高いリスクは示さなかった。
さらなる推論はモデルの見積もりをほとんど変更しなかったが、その不確実性を拡大し、大部分はリスクを高めた。
ほぼすべてのモデルが、最も可能性の高い原因として、AIの制御の喪失を挙げている。
これらの答えは独立した判断ではなく、専門家による世論調査やモデルの整合性の選択など、トレーニングデータに反する可能性が高い。
それでも彼らは、現在のAIシステムが自分たちのテクノロジーのリスクについて述べられている立場を文書化している。
この位置がシステム自身の能力に関する真の理解を反映しているかどうかはまだ不明である。
繰り返し測定することで、AIシステムが進歩するにつれて変化していくか、どのようにトレーニングとアライメントが形成されるかが分かる。
関連論文リスト
- Healthy skepticism in AI: a data visualization research agenda [4.140208811013505]
我々は、人間がAIモデルの結果とそのようなAIモデルの使用の両方について懐疑的な見解を採用することは健全であると論じている。
私たちは、AIモデルに対する過度信頼の現象の増加、AIモデルの使用のリスクと機会、過度信頼状況におけるデータの可視化の役割について、私たちの考えを共有します。
論文 参考訳(メタデータ) (2026-10-07T09:31:46Z) - One AI Signal, Many Human Judgments: A Bayesian Cascade Analysis of AI-based Credibility Indicators in Online Information Spread [39.0786847687173]
ソーシャルメディアプラットフォームは、ユーザーが誤情報を判断するのに役立つAIベースの信頼性指標をますます利用している。
本稿では,従来のベイズカスケードモデルを共有公開信号としてAIインジケータで拡張することにより,この設定のためのソーシャルラーニングレンズを提案する。
我々は、AIが公的な歴史の意味を変えることを示す。この視点を通して、AIが公的な歴史の意味を変えることを示す。
論文 参考訳(メタデータ) (2026-08-31T06:27:21Z) - Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse [50.87630846876635]
我々は9つの詳細なサイバーリスクモデルを開発する。
各モデルはMITRE ATT&CKフレームワークを使用して攻撃をステップに分解する。
個々の見積もりはモンテカルロシミュレーションによって集約される。
論文 参考訳(メタデータ) (2025-12-09T17:54:17Z) - AI Must not be Fully Autonomous [1.1466554742327897]
完全に自律的なAIは、自身の目的を開発できるが、レベル3であり、人間の監視に責任はない。
我々は、12の異なる論点と6つの論点を、その論点に対する反論として提示する。
付録には、AIが不一致な値やその他のリスクを示す最近の証拠を15点提示する。
論文 参考訳(メタデータ) (2025-07-31T08:22:49Z) - The Generative AI Paradox: "What It Can Create, It May Not Understand" [81.89252713236746]
生成AIの最近の波は、潜在的に超人的な人工知能レベルに対する興奮と懸念を引き起こしている。
同時に、モデルは、専門家でない人でも期待できないような理解の基本的な誤りを示している。
一見超人的な能力と、ごく少数の人間が起こすエラーの持続性を、どうやって再現すればよいのか?
論文 参考訳(メタデータ) (2023-10-31T18:07:07Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2023-04-16T11:22:59Z) - Examining the Differential Risk from High-level Artificial Intelligence
and the Question of Control [0.0]
将来のAI能力の範囲と範囲は、依然として重要な不確実性である。
AIの不透明な意思決定プロセスの統合と監視の程度には懸念がある。
本研究では、AIリスクをモデル化し、代替先分析のためのテンプレートを提供する階層的な複雑なシステムフレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-06T15:46:02Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳(メタデータ) (2022-01-26T18:53:09Z) - Does Explainable Artificial Intelligence Improve Human Decision-Making? [17.18994675838646]
我々は、AI(制御)を使わずに客観的な人間の意思決定精度を、AI予測(説明なし)とAI予測(説明なし)とを比較して評価する。
あらゆる種類のAI予測は、ユーザの判断精度を改善する傾向がありますが、説明可能なAIが有意義な影響を与えるという決定的な証拠はありません。
我々の結果は、少なくともいくつかの状況において、説明可能なAIが提供する「なぜ」情報は、ユーザの意思決定を促進することができないことを示唆している。
論文 参考訳(メタデータ) (2020-06-19T15:46:13Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳(メタデータ) (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。