論文の概要: Dark Speculation: Combining Qualitative and Quantitative Understanding in Frontier AI Risk Analysis

• arxiv url: http://arxiv.org/abs/2511.21838v1
• Date: Wed, 26 Nov 2025 19:09:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.258145
• Title: Dark Speculation: Combining Qualitative and Quantitative Understanding in Frontier AI Risk Analysis
• Title（参考訳）: Dark Speculation:フロンティアAIリスク分析における質的および定量的理解の組み合わせ
• Authors: Daniel Carpenter, Carson Ezell, Pratyush Mallick, Alexandria Westray,
• Abstract要約: フロンティアAIによる破滅的な被害を推定することは、深い曖昧さによって妨げられる。 我々は$textitdark speculation$というプロセスを提案する。 我々はこの過程を単純化された破滅的レヴィフレームワークを用いて定式化する。
• 参考スコア（独自算出の注目度）: 39.69658116435543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Estimating catastrophic harms from frontier AI is hindered by deep ambiguity: many of its risks are not only unobserved but unanticipated by analysts. The central limitation of current risk analysis is the inability to populate the $\textit{catastrophic event space}$, or the set of potential large-scale harms to which probabilities might be assigned. This intractability is worsened by the $\textit{Lucretius problem}$, or the tendency to infer future risks only from past experience. We propose a process of $\textit{dark speculation}$, in which systematically generating and refining catastrophic scenarios ("qualitative" work) is coupled with estimating their likelihoods and associated damages (quantitative underwriting analysis). The idea is neither to predict the future nor to enable insurance for its own sake, but to use narrative and underwriting tools together to generate probability distributions over outcomes. We formalize this process using a simplified catastrophic Lévy stochastic framework and propose an iterative institutional design in which (1) speculation (including scenario planning) generates detailed catastrophic event narratives, (2) insurance underwriters assign probabilistic and financial parameters to these narratives, and (3) decision-makers synthesize the results into summary statistics to inform judgment. Analysis of the model reveals the value of (a) maintaining independence between speculation and underwriting, (b) analyzing multiple risk categories in parallel, and (c) generating "thick" catastrophic narrative rich in causal (counterfactual) and mitigative detail. While the approach cannot eliminate deep ambiguity, it offers a systematic approach to reason about extreme, low-probability events in frontier AI, tempering complacency and overreaction. The framework is adaptable for iterative use and can further augmented with AI systems.
• Abstract（参考訳）: フロンティアAIによる破滅的な被害を推定することは、深い曖昧さによって妨げられている。 現在のリスク分析の中心的な制限は、$\textit{catastrophic event space}$をポップアップできないこと、あるいは確率が割り当てられる可能性のある大規模障害のセットである。 この難易度は$\textit{Lucretius problem}$や、過去の経験からしか将来のリスクを推測しない傾向によって悪化する。 本稿では, 破滅的シナリオ(仮の作業)を系統的に生成し, 精製し, その可能性と関連する損傷を推定する$\textit{dark speculation}$を提案する。 将来を予測したり、保険を自力で有効にすることではなく、物語や筆記ツールを併用して結果の確率分布を生成するという考え方である。 我々は, 簡易なカタストロフィック・レヴィ・確率的枠組みを用いてこのプロセスを形式化し, 1) 投機(シナリオ計画を含む)が詳細なカタストロフィック・イベントの物語を生成し, (2) 保険保険業者がこれらの物語に確率的・財政的パラメータを割り当て, (3) 意思決定者はその結果を要約統計に合成し, 判断を伝達する反復的制度設計を提案する。 モデルの解析は、値を明らかにする (a)投機と筆跡の独立を維持すること b)複数のリスクカテゴリを並列に分析し、 (c)因果(事実)と緩和的詳細に富んだ「薄い」破滅的な物語を生成すること。 このアプローチは深い曖昧さを取り除くことはできないが、フロンティアAIにおける極端で低確率なイベントを推論するための体系的なアプローチを提供する。 このフレームワークは反復的な使用に適応し、AIシステムでさらに拡張することができる。

関連論文リスト

• What are the odds? Risk and uncertainty about AI existential risk [0.0]
  しかし、これは単なる注釈ではなく、リスクのサリナーモデルの哲学的限界を思い出すのに役立つ。 リスクと不確実性を区別し、P(D) の任意の推定は2種類の不確実性によって構造的に影響を受けると論じます。
  論文  参考訳（メタデータ） (2025-10-27T15:53:23Z)
• Adapting Probabilistic Risk Assessment for AI [0.0]
  汎用人工知能(AI)システムは、緊急リスク管理の課題を示す。 現在の手法は、しばしば選択的なテストとリスク優先順位に関する未文書の仮定に依存します。 本稿では,AIフレームワークの確率的リスクアセスメント(PRA)を紹介する。
  論文  参考訳（メタデータ） (2025-04-25T17:59:14Z)
• Risks and NLP Design: A Case Study on Procedural Document QA [52.557503571760215]
  より具体的なアプリケーションやユーザに対して分析を専門化すれば,ユーザに対するリスクや害の明確な評価が可能になる,と我々は主張する。 リスク指向のエラー分析を行い、リスクの低減とパフォーマンスの向上を図り、将来のシステムの設計を通知する。
  論文  参考訳（メタデータ） (2024-08-16T17:23:43Z)
• Sequential Manipulation Against Rank Aggregation: Theory and Algorithm [119.57122943187086]
  脆弱なデータ収集プロセスに対するオンライン攻撃を活用します。 ゲーム理論の観点からは、対決シナリオは分布的に堅牢なゲームとして定式化される。 提案手法は,ランクアグリゲーション手法の結果を逐次的に操作する。
  論文  参考訳（メタデータ） (2024-07-02T03:31:21Z)
• From Mean to Extreme: Formal Differential Privacy Bounds on the Success of Real-World Data Reconstruction Attacks [54.25638567385662]
  機械学習における微分プライバシーは、しばしばメンバーシップ推論に対する保証として解釈される。 DP予算を定量的な保護に翻訳することで、データ再構築の脅威を悪化させることは、依然として困難な課題である。 本稿では、実証された"ゼロスクラッチ"攻撃のメカニズムに合わせた、最初の公式なプライバシー境界を導出することで、臨界ギャップを埋める。
  論文  参考訳（メタデータ） (2024-02-20T09:52:30Z)
• Two Types of AI Existential Risk: Decisive and Accumulative [3.5051464966389116]
  本稿では,従来の「決定型AI x-リスク仮説」と「累積型AI x-リスク仮説」を対比する。 累積的な視点は、AIリスクに関する一見互換性のない視点を調整できる、と氏は主張する。
  論文  参考訳（メタデータ） (2024-01-15T17:06:02Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime [75.19403612525811]
  この研究は、2つのリスク間のトレードオフを分散することでギャップを埋めることのできるマルチサンプル損失を開発する。 実証的研究は予測分布の改善を示す。
  論文  参考訳（メタデータ） (2020-10-19T16:08:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。