論文の概要: Why do Experts Disagree on Existential Risk and P(doom)? A Survey of AI Experts

• arxiv url: http://arxiv.org/abs/2502.14870v1
• Date: Sat, 25 Jan 2025 01:51:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 04:52:12.423353
• Title: Why do Experts Disagree on Existential Risk and P(doom)? A Survey of AI Experts
• Title（参考訳）: なぜ専門家は既存のリスクとP(Doom)を疑うのか? : AI専門家の調査より
• Authors: Severin Field,
• Abstract要約: 破滅的なリスクとAIアライメントに関する研究は、専門家による懐疑的な見方がしばしばある。 AIの実在するリスクに関するオンライン議論が、部族化し始めた。 AIの安全性の概念に精通している111人のAI専門家を調査しました。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The development of artificial general intelligence (AGI) is likely to be one of humanity's most consequential technological advancements. Leading AI labs and scientists have called for the global prioritization of AI safety citing existential risks comparable to nuclear war. However, research on catastrophic risks and AI alignment is often met with skepticism, even by experts. Furthermore, online debate over the existential risk of AI has begun to turn tribal (e.g. name-calling such as "doomer" or "accelerationist"). Until now, no systematic study has explored the patterns of belief and the levels of familiarity with AI safety concepts among experts. I surveyed 111 AI experts on their familiarity with AI safety concepts, key objections to AI safety, and reactions to safety arguments. My findings reveal that AI experts cluster into two viewpoints -- an "AI as controllable tool" and an "AI as uncontrollable agent" perspective -- diverging in beliefs toward the importance of AI safety. While most experts (78%) agreed or strongly agreed that "technical AI researchers should be concerned about catastrophic risks", many were unfamiliar with specific AI safety concepts. For example, only 21% of surveyed experts had heard of "instrumental convergence," a fundamental concept in AI safety predicting that advanced AI systems will tend to pursue common sub-goals (such as self-preservation). The least concerned participants were the least familiar with concepts like this, suggesting that effective communication of AI safety should begin with establishing clear conceptual foundations in the field.
• Abstract（参考訳）: 人工知能(AGI)の発展は、人類の最も重要な技術的進歩の1つと考えられる。 先進的なAI研究所や科学者は、核戦争に匹敵する存在リスクを理由に、AI安全性の世界的な優先順位付けを要求している。 しかし、破滅的なリスクとAIの整合性の研究は、専門家でさえ懐疑的な見方を抱いていることが多い。 さらに、AIの存在リスクに関するオンライン議論は、部族(例えば、"doomer"や"accelerationist"のような名前呼び出し)に変わり始めています。 これまで、専門家の間では、信念のパターンとAIの安全性概念に精通するレベルについて、体系的な研究は行われていない。 AIの安全性概念に精通している111人のAI専門家を調査した。 私の研究結果によると、AI専門家は2つの視点 – "制御不能なツールとしてのAI" と "制御不能なエージェントとしてのAI" の視点 – に集約され、AI安全性の重要性に対する信念に偏っていることが分かりました。 ほとんどの専門家(78%)は「技術的AI研究者は破滅的なリスクを心配すべきである」という意見に同意した。 例えば、先進的なAIシステムが共通のサブゴール(自己保存など)を追求する傾向にあると予測するAI安全性の基本概念である"Instrumental convergence"について聞いたことは、調査対象専門家の21%に過ぎなかった。 AI安全性の効果的なコミュニケーションは、この分野における明確な概念基盤を確立することから始まるべきだと示唆している。

関連論文リスト

• AI Safety for Everyone [3.440579243843689]
  AIの安全性に関する最近の議論と研究は、AIの安全性と高度なAIシステムからの現実的リスクとの深いつながりを強調している。 このフレーミングは、AIの安全性にコミットしているが、異なる角度から分野にアプローチする研究者や実践者を排除する可能性がある。 私たちは、現在のAIシステムに対する即時的で実践的な懸念に対処する、数多くの具体的な安全作業を見つけました。
  論文  参考訳（メタデータ） (2025-02-13T13:04:59Z)
• Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
  信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。 私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
  論文  参考訳（メタデータ） (2024-10-25T07:53:32Z)
• Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
  我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。 我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
  論文  参考訳（メタデータ） (2024-07-31T17:59:24Z)
• AI Safety: A Climb To Armageddon? [0.0]
  本稿では,最適化,緩和,ホロリズムの3つの対応戦略について検討する。 この議論の驚くべき堅牢性は、AIの安全性に関するコア前提の再検討を迫られる。
  論文  参考訳（メタデータ） (2024-05-30T08:41:54Z)
• AI Safety: Necessary, but insufficient and possibly problematic [1.6797508081737678]
  この記事では、AI安全性に関する最近の誇大広告について批判的に考察する。 AIの安全性」とは実際に何を意味するのかを考察し、AIの安全性のデジタルフットプリントが持つ支配的な概念を概説する。 私たちは、AIの安全性が、悪用され有害なAIに安全を害することで、構造的危害を助長するAIを正規化する方法に関する懸念を共有します。
  論文  参考訳（メタデータ） (2024-03-26T06:18:42Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
  AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。 偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。 問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-04-16T11:22:59Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• Trustworthy AI: A Computational Perspective [54.80482955088197]
  我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。 各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
  論文  参考訳（メタデータ） (2021-07-12T14:21:46Z)
• Understanding and Avoiding AI Failures: A Practical Guide [0.6526824510982799]
  AIアプリケーションに関連するリスクを理解するためのフレームワークを作成します。 また、AIの安全性原則を使用して、AIにおけるインテリジェンスと人間のような品質のユニークなリスクを定量化しています。
  論文  参考訳（メタデータ） (2021-04-22T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。