論文の概要: Reasons to Doubt the Impact of AI Risk Evaluations

• arxiv url: http://arxiv.org/abs/2408.02565v1
• Date: Mon, 5 Aug 2024 15:42:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 13:07:17.400904
• Title: Reasons to Doubt the Impact of AI Risk Evaluations
• Title（参考訳）: AIリスク評価の影響を2倍にする理由
• Authors: Gabriel Mukobi,
• Abstract要約: 本稿では、評価がAIリスクに対する理解と、そのリスクを緩和する能力を大幅に改善するかどうかを問う。 評価プラクティスの改善と、AIラボ、外部評価者、規制当局、学術研究者のための12の推奨事項を結論付けている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI safety practitioners invest considerable resources in AI system evaluations, but these investments may be wasted if evaluations fail to realize their impact. This paper questions the core value proposition of evaluations: that they significantly improve our understanding of AI risks and, consequently, our ability to mitigate those risks. Evaluations may fail to improve understanding in six ways, such as risks manifesting beyond the AI system or insignificant returns from evaluations compared to real-world observations. Improved understanding may also not lead to better risk mitigation in four ways, including challenges in upholding and enforcing commitments. Evaluations could even be harmful, for example, by triggering the weaponization of dual-use capabilities or invoking high opportunity costs for AI safety. This paper concludes with considerations for improving evaluation practices and 12 recommendations for AI labs, external evaluators, regulators, and academic researchers to encourage a more strategic and impactful approach to AI risk assessment and mitigation.
• Abstract（参考訳）: AIの安全性実践者は、AIシステム評価にかなりのリソースを投資するが、評価が影響を認識できなかった場合、これらの投資は無駄になる可能性がある。 本稿では、AIリスクに対する理解を大幅に改善し、その結果、これらのリスクを軽減する能力である評価のコアバリュー命題に疑問を呈する。 評価は、AIシステムを超えて現れるリスクや、実世界の観察と比較して評価から重要でないリターンなど、6つの方法による理解の改善に失敗する可能性がある。 理解の向上は、コミットメントの維持と強化の課題を含む、リスク軽減の4つの方法にも結びつく可能性がある。 例えば、デュアルユース機能の武器化を誘発したり、AIの安全性に高い機会コストをかけたりすることで、評価は有害になる可能性がある。 本稿では、AIのリスク評価と緩和に対するより戦略的かつ影響力のあるアプローチを奨励するために、AIラボ、外部評価者、規制当局、学術研究者に対する評価プラクティスの改善と12の勧告について考察する。

関連論文リスト

• Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
  信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。 私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
  論文  参考訳（メタデータ） (2024-10-25T07:53:32Z)
• Risks and NLP Design: A Case Study on Procedural Document QA [52.557503571760215]
  より具体的なアプリケーションやユーザに対して分析を専門化すれば,ユーザに対するリスクや害の明確な評価が可能になる,と我々は主張する。 リスク指向のエラー分析を行い、リスクの低減とパフォーマンスの向上を図り、将来のシステムの設計を通知する。
  論文  参考訳（メタデータ） (2024-08-16T17:23:43Z)
• EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Implications for Governance in Public Perceptions of Societal-scale AI Risks [0.29022435221103454]
  投票者は、AIのリスクは専門家よりも可能性が高く影響も大きいと認識し、AI開発を遅くすることを主張する。 政策介入は、社会規模リスクの全てのクラスにまたがる緩和努力をより慎重にバランスを取ろうとすれば、集団の懸念を和らげるのがよい。
  論文  参考訳（メタデータ） (2024-06-10T11:52:25Z)
• Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
  我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。 化学科学における誤用の実例を取り上げる。 我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
  論文  参考訳（メタデータ） (2023-12-11T18:50:57Z)
• An International Consortium for Evaluations of Societal-Scale Risks from Advanced AI [10.550015825854837]
  規制のギャップにより、AIラボは最小限の監視で研究、開発、デプロイメント活動を行うことができた。 フロンティアAIシステムの評価は、フロンティアAIシステムの開発と展開のリスクを評価する方法として提案されている。 本稿では,AI開発者とサードパーティのAIリスク評価者の両方からなる,AIリスク評価のための国際コンソーシアムの形でのソリューションを提案する。
  論文  参考訳（メタデータ） (2023-10-22T23:37:48Z)
• Model evaluation for extreme risks [46.53170857607407]
  AI開発のさらなる進歩は、攻撃的なサイバー能力や強力な操作スキルのような極端なリスクを引き起こす能力につながる可能性がある。 モデル評価が極端なリスクに対処するために重要である理由を説明します。
  論文  参考訳（メタデータ） (2023-05-24T16:38:43Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)
• Quantitative AI Risk Assessments: Opportunities and Challenges [9.262092738841979]
  AIベースのシステムは、組織、個人、社会に価値を提供するために、ますます活用されている。 リスクは、提案された規制、訴訟、および一般的な社会的懸念につながった。 本稿では,定量的AIリスクアセスメントの概念について考察する。
  論文  参考訳（メタデータ） (2022-09-13T21:47:25Z)
• Actionable Guidance for High-Consequence AI Risk Management: Towards Standards Addressing AI Catastrophic Risks [12.927021288925099]
  人工知能(AI)システムは、社会規模で非常に高い、または破滅的な結果をもたらす事象のリスクを提示することができる。 NISTはAIリスク評価と管理に関する自主的なガイダンスとして、AI RMF(AI Artificial Intelligence Risk Management Framework)を開発している。 我々は、非常に高い、または破滅的な結果のイベントのリスクを特定し、管理することに焦点を当てた、行動可能なガイダンスの詳細な推奨を提供する。
  論文  参考訳（メタデータ） (2022-06-17T18:40:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。