論文の概要: Threshold Crossings as Tail Events for Catastrophic AI Risk
- arxiv url: http://arxiv.org/abs/2503.18979v2
- Date: Wed, 26 Mar 2025 02:00:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-27 09:39:24.960092
- Title: Threshold Crossings as Tail Events for Catastrophic AI Risk
- Title(参考訳): 危機的AIリスクへの懸念が強まる恐れ-関係者
- Authors: Elija Perrier,
- Abstract要約: 我々は、AIシステムにおける分岐駆動ジャンプが創発的な重み付き結果分布と関連している状況を分析する。
我々の結果は、潜在的に破滅的なAIリスクを管理するために、AIシステムの監視、緩和、制御に関する研究に寄与する。
- 参考スコア(独自算出の注目度): 0.6526824510982799
- License:
- Abstract: We analyse circumstances in which bifurcation-driven jumps in AI systems are associated with emergent heavy-tailed outcome distributions. By analysing how a control parameter's random fluctuations near a catastrophic threshold generate extreme outcomes, we demonstrate in what circumstances the probability of a sudden, large-scale, transition aligns closely with the tail probability of the resulting damage distribution. Our results contribute to research in monitoring, mitigation and control of AI systems when seeking to manage potentially catastrophic AI risk.
- Abstract(参考訳): 我々は、AIシステムにおける分岐駆動ジャンプが創発的な重み付き結果分布と関連している状況を分析する。
破滅的しきい値付近の制御パラメータのランダムなゆらぎがどのように極端な結果をもたらすかを解析することにより、突然の大規模遷移の確率が損傷分布のテール確率とどのように一致しているかを実証する。
我々の結果は、潜在的に破滅的なAIリスクを管理するために、AIシステムの監視、緩和、制御に関する研究に寄与する。
関連論文リスト
- Statistical Scenario Modelling and Lookalike Distributions for Multi-Variate AI Risk [0.6526824510982799]
シナリオモデリングがAIリスクを全体論的にモデル化する方法について説明する。
直接観測可能なデータがない場合にAIの影響を推定するために、AIに類似した現象からの見た目上の分布がどのように使用できるかを示す。
論文 参考訳(メタデータ) (2025-02-20T12:14:54Z) - Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。
この設定では、一般化されたクロスバリデーション推定器(GCV)がサンプル外リスクを正確に予測できないことを示す。
さらに、テストポイントがトレーニングセットと非自明な相関を持つ場合、時系列予測でしばしば発生する設定にまで分析を拡張します。
論文 参考訳(メタデータ) (2024-08-08T17:27:29Z) - Causal Interventional Prediction System for Robust and Explainable Effect Forecasting [14.104665282086339]
AIに基づく予測システムの堅牢性と説明可能性について検討する。
我々は、変分オートエンコーダと多重計算の完全条件仕様に基づく因果介入予測システム(CIPS)を設計する。
論文 参考訳(メタデータ) (2024-07-29T04:16:45Z) - Sequential Manipulation Against Rank Aggregation: Theory and Algorithm [119.57122943187086]
脆弱なデータ収集プロセスに対するオンライン攻撃を活用します。
ゲーム理論の観点からは、対決シナリオは分布的に堅牢なゲームとして定式化される。
提案手法は,ランクアグリゲーション手法の結果を逐次的に操作する。
論文 参考訳(メタデータ) (2024-07-02T03:31:21Z) - Data-Adaptive Tradeoffs among Multiple Risks in Distribution-Free Prediction [55.77015419028725]
しきい値とトレードオフパラメータが適応的に選択された場合、リスクの有効な制御を可能にする手法を開発する。
提案手法は単調なリスクとほぼ単調なリスクをサポートするが,それ以外は分布的な仮定はしない。
論文 参考訳(メタデータ) (2024-03-28T17:28:06Z) - Two Types of AI Existential Risk: Decisive and Accumulative [3.5051464966389116]
本稿では,従来の「決定型AI x-リスク仮説」と「累積型AI x-リスク仮説」を対比する。
累積的な視点は、AIリスクに関する一見互換性のない視点を調整できる、と氏は主張する。
論文 参考訳(メタデータ) (2024-01-15T17:06:02Z) - Generalisation and the Risk--Entropy Curve [0.49723239539321284]
学習機械の予測一般化性能は、リスクの分布やそれに相当するエントロピーによって決定されることを示す。
結果はMarkov Chain Monte Carlo技術を用いて、さまざまなディープニューラルネットワークモデルに対して提示される。
論文 参考訳(メタデータ) (2022-02-15T12:19:10Z) - Automatic Risk Adaptation in Distributional Reinforcement Learning [26.113528145137497]
実践的応用における強化学習(RL)エージェントの使用は、最適以下の結果を考慮する必要がある。
これは特に安全クリティカルな環境において重要であり、エラーは高いコストや損害をもたらす可能性がある。
リスク認識エージェントとリスク認識エージェントの両方と比較して, 失敗率を最大7倍に低下させ, 一般化性能を最大14%向上させた。
論文 参考訳(メタデータ) (2021-06-11T11:31:04Z) - Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。
敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。
実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
論文 参考訳(メタデータ) (2021-05-18T17:48:15Z) - Deconfounded Score Method: Scoring DAGs with Dense Unobserved
Confounding [101.35070661471124]
本研究では,観測データ分布に特徴的フットプリントが残っており,突発的・因果的影響を解消できることを示す。
汎用ソルバで実装し,高次元問題へのスケールアップが可能なスコアベース因果検出アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-28T11:07:59Z) - The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文 参考訳(メタデータ) (2020-12-05T17:30:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。