論文の概要: Reasons to Doubt the Impact of AI Risk Evaluations
- arxiv url: http://arxiv.org/abs/2408.02565v1
- Date: Mon, 5 Aug 2024 15:42:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 13:07:17.400904
- Title: Reasons to Doubt the Impact of AI Risk Evaluations
- Title(参考訳): AIリスク評価の影響を2倍にする理由
- Authors: Gabriel Mukobi,
- Abstract要約: 本稿では、評価がAIリスクに対する理解と、そのリスクを緩和する能力を大幅に改善するかどうかを問う。
評価プラクティスの改善と、AIラボ、外部評価者、規制当局、学術研究者のための12の推奨事項を結論付けている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI safety practitioners invest considerable resources in AI system evaluations, but these investments may be wasted if evaluations fail to realize their impact. This paper questions the core value proposition of evaluations: that they significantly improve our understanding of AI risks and, consequently, our ability to mitigate those risks. Evaluations may fail to improve understanding in six ways, such as risks manifesting beyond the AI system or insignificant returns from evaluations compared to real-world observations. Improved understanding may also not lead to better risk mitigation in four ways, including challenges in upholding and enforcing commitments. Evaluations could even be harmful, for example, by triggering the weaponization of dual-use capabilities or invoking high opportunity costs for AI safety. This paper concludes with considerations for improving evaluation practices and 12 recommendations for AI labs, external evaluators, regulators, and academic researchers to encourage a more strategic and impactful approach to AI risk assessment and mitigation.
- Abstract(参考訳): AIの安全性実践者は、AIシステム評価にかなりのリソースを投資するが、評価が影響を認識できなかった場合、これらの投資は無駄になる可能性がある。
本稿では、AIリスクに対する理解を大幅に改善し、その結果、これらのリスクを軽減する能力である評価のコアバリュー命題に疑問を呈する。
評価は、AIシステムを超えて現れるリスクや、実世界の観察と比較して評価から重要でないリターンなど、6つの方法による理解の改善に失敗する可能性がある。
理解の向上は、コミットメントの維持と強化の課題を含む、リスク軽減の4つの方法にも結びつく可能性がある。
例えば、デュアルユース機能の武器化を誘発したり、AIの安全性に高い機会コストをかけたりすることで、評価は有害になる可能性がある。
本稿では、AIのリスク評価と緩和に対するより戦略的かつ影響力のあるアプローチを奨励するために、AIラボ、外部評価者、規制当局、学術研究者に対する評価プラクティスの改善と12の勧告について考察する。
関連論文リスト
- Implications for Governance in Public Perceptions of Societal-scale AI Risks [0.29022435221103454]
投票者は、AIのリスクは専門家よりも可能性が高く影響も大きいと認識し、AI開発を遅くすることを主張する。
政策介入は、社会規模リスクの全てのクラスにまたがる緩和努力をより慎重にバランスを取ろうとすれば、集団の懸念を和らげるのがよい。
論文 参考訳(メタデータ) (2024-06-10T11:52:25Z) - A Safe Harbor for AI Evaluation and Red Teaming [124.89885800509505]
一部の研究者は、そのような研究の実施や研究成果の公表が、アカウント停止や法的報復につながることを恐れている。
我々は、主要なAI開発者が法的、技術的に安全な港を提供することを約束することを提案します。
これらのコミットメントは、ジェネレーティブAIのリスクに取り組むための、より包括的で意図しないコミュニティ努力への必要なステップである、と私たちは信じています。
論文 参考訳(メタデータ) (2024-03-07T20:55:08Z) - Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。
化学科学における誤用の実例を取り上げる。
我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
論文 参考訳(メタデータ) (2023-12-11T18:50:57Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳(メタデータ) (2023-10-26T17:59:06Z) - An International Consortium for Evaluations of Societal-Scale Risks from
Advanced AI [10.550015825854837]
規制のギャップにより、AIラボは最小限の監視で研究、開発、デプロイメント活動を行うことができた。
フロンティアAIシステムの評価は、フロンティアAIシステムの開発と展開のリスクを評価する方法として提案されている。
本稿では,AI開発者とサードパーティのAIリスク評価者の両方からなる,AIリスク評価のための国際コンソーシアムの形でのソリューションを提案する。
論文 参考訳(メタデータ) (2023-10-22T23:37:48Z) - A Counterfactual Safety Margin Perspective on the Scoring of Autonomous
Vehicles' Riskiness [52.27309191283943]
本稿では,異なるAVの行動のリスクを評価するためのデータ駆動型フレームワークを提案する。
本稿では,衝突を引き起こす可能性のある名目行動から最小限の偏差を示す,対実的安全マージンの概念を提案する。
論文 参考訳(メタデータ) (2023-08-02T09:48:08Z) - Model evaluation for extreme risks [46.53170857607407]
AI開発のさらなる進歩は、攻撃的なサイバー能力や強力な操作スキルのような極端なリスクを引き起こす能力につながる可能性がある。
モデル評価が極端なリスクに対処するために重要である理由を説明します。
論文 参考訳(メタデータ) (2023-05-24T16:38:43Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳(メタデータ) (2022-12-08T23:23:39Z) - Quantitative AI Risk Assessments: Opportunities and Challenges [9.262092738841979]
AIベースのシステムは、組織、個人、社会に価値を提供するために、ますます活用されている。
リスクは、提案された規制、訴訟、および一般的な社会的懸念につながった。
本稿では,定量的AIリスクアセスメントの概念について考察する。
論文 参考訳(メタデータ) (2022-09-13T21:47:25Z) - Actionable Guidance for High-Consequence AI Risk Management: Towards
Standards Addressing AI Catastrophic Risks [12.927021288925099]
人工知能(AI)システムは、社会規模で非常に高い、または破滅的な結果をもたらす事象のリスクを提示することができる。
NISTはAIリスク評価と管理に関する自主的なガイダンスとして、AI RMF(AI Artificial Intelligence Risk Management Framework)を開発している。
我々は、非常に高い、または破滅的な結果のイベントのリスクを特定し、管理することに焦点を当てた、行動可能なガイダンスの詳細な推奨を提供する。
論文 参考訳(メタデータ) (2022-06-17T18:40:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。