論文の概要: Effective Mitigations for Systemic Risks from General-Purpose AI
- arxiv url: http://arxiv.org/abs/2412.02145v1
- Date: Thu, 14 Nov 2024 22:39:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-08 09:45:41.933967
- Title: Effective Mitigations for Systemic Risks from General-Purpose AI
- Title（参考訳）: 汎用AIによるシステムリスクの効果的緩和
- Authors: Risto Uuk, Annemieke Brouwer, Tim Schreier, Noemi Dreksler, Valeria Pulignano, Rishi Bommasani,
- Abstract要約: AIの安全性、重要なインフラ、民主的プロセス、化学、生物学的、放射線学、核リスク(CBRN)、差別と偏見にまたがる専門知識を持つ76人の専門家を調査した。
リスク軽減対策は,様々なシステム的リスクを低減し,ドメインの専門家が技術的に実現可能であると認識されている。
安全インシデント報告とセキュリティ情報共有、サードパーティのデプロイ前モデル監査、デプロイ前リスク評価の3つの対策が注目されている。
- 参考スコア（独自算出の注目度）: 9.39718128736321
- License:
- Abstract: The systemic risks posed by general-purpose AI models are a growing concern, yet the effectiveness of mitigations remains underexplored. Previous research has proposed frameworks for risk mitigation, but has left gaps in our understanding of the perceived effectiveness of measures for mitigating systemic risks. Our study addresses this gap by evaluating how experts perceive different mitigations that aim to reduce the systemic risks of general-purpose AI models. We surveyed 76 experts whose expertise spans AI safety; critical infrastructure; democratic processes; chemical, biological, radiological, and nuclear risks (CBRN); and discrimination and bias. Among 27 mitigations identified through a literature review, we find that a broad range of risk mitigation measures are perceived as effective in reducing various systemic risks and technically feasible by domain experts. In particular, three mitigation measures stand out: safety incident reports and security information sharing, third-party pre-deployment model audits, and pre-deployment risk assessments. These measures show both the highest expert agreement ratings (>60\%) across all four risk areas and are most frequently selected in experts' preferred combinations of measures (>40\%). The surveyed experts highlighted that external scrutiny, proactive evaluation and transparency are key principles for effective mitigation of systemic risks. We provide policy recommendations for implementing the most promising measures, incorporating the qualitative contributions from experts. These insights should inform regulatory frameworks and industry practices for mitigating the systemic risks associated with general-purpose AI.
- Abstract（参考訳）: 汎用AIモデルによって引き起こされるシステム的リスクは、ますます懸念されているが、緩和の効果はいまだ検討されていない。
従来,リスク軽減のための枠組みが提案されてきたが,システム的リスク軽減対策の有効性の認識にギャップが残されている。
本研究は,汎用AIモデルのシステム的リスク低減を目的とした,専門家がさまざまな軽減策をどのように感じているかを評価することで,このギャップに対処する。
AIの安全性、重要なインフラ、民主的プロセス、化学、生物学的、放射線学的、核リスク(CBRN)、差別と偏見にまたがる専門知識を持つ76人の専門家を調査した。
文献レビューで確認された27の緩和策のうち、幅広いリスク軽減策が様々なシステム的リスクの低減に有効であり、ドメインの専門家が技術的に実現可能であると認識されている。
特に、安全インシデント報告とセキュリティ情報共有、サードパーティによるデプロイ前モデル監査、デプロイ前リスク評価の3つの対策が注目されている。
これらの尺度は4つのリスク領域すべてで専門家合意の最高評価 (>60\%) を示しており、専門家が好む手段の組み合わせ (>40\%) において最も頻繁に選択される。
調査された専門家は、外部の精査、積極的評価、透明性が、システム的リスクを効果的に緩和する鍵となる原則であることを強調した。
我々は,専門家からの質的な貢献を取り入れ,最も有望な措置を実施するための政策勧告を提供する。
これらの洞察は、汎用AIに関連するシステム的リスクを軽減するための規制フレームワークや業界プラクティスに通知する必要がある。
関連論文リスト
- Multi-Agent Risks from Advanced AI [90.74347101431474]
先進的なAIのマルチエージェントシステムは、新規で未発見のリスクを生じさせる。
エージェントのインセンティブに基づく3つの重要な障害モードと7つの重要なリスク要因を同定する。
各リスクのいくつかの重要な事例と、それらを緩和するための有望な方向性を強調します。
論文 参考訳（メタデータ） (2025-02-19T23:03:21Z) - A Frontier AI Risk Management Framework: Bridging the Gap Between Current AI Practices and Established Risk Management [0.0]
最近の強力なAIシステムの開発は、堅牢なリスク管理フレームワークの必要性を強調している。
本稿では,フロンティアAI開発のための包括的リスク管理フレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-10T16:47:00Z) - Supervision policies can shape long-term risk management in general-purpose AI models [0.0]
本研究では,リスク,インシデント,あるいはハザード報告のエコシステムの多様な状況から抽出された特徴をパラメータ化したシミュレーションフレームワークを開発する。
リスクタイプを包括的に網羅した高優先度リスクのバランスをとる)非優先順位付け(優先、優先)、ランダム選択、優先度付け(優先)、多様性優先(優先)の4つの政策を評価する。
以上の結果から, 優先的かつ多様性優先的な政策は, 高影響リスク軽減に有効であるが, より広範なコミュニティが報告した制度的問題を無視している可能性が示唆された。
論文 参考訳（メタデータ） (2025-01-10T17:52:34Z) - A Human-Centered Risk Evaluation of Biometric Systems Using Conjoint Analysis [0.6199770411242359]
本稿では, コンジョイント分析を用いて, 監視カメラなどのリスク要因が攻撃者のモチベーションに与える影響を定量化するために, 新たな人間中心型リスク評価フレームワークを提案する。
本フレームワークは、False Acceptance Rate(FAR)とアタック確率を組み込んだリスク値を算出し、ユースケース間の総合的な比較を可能にする。
論文 参考訳（メタデータ） (2024-09-17T14:18:21Z) - Risks and NLP Design: A Case Study on Procedural Document QA [52.557503571760215]
より具体的なアプリケーションやユーザに対して分析を専門化すれば,ユーザに対するリスクや害の明確な評価が可能になる,と我々は主張する。
リスク指向のエラー分析を行い、リスクの低減とパフォーマンスの向上を図り、将来のシステムの設計を通知する。
論文 参考訳（メタデータ） (2024-08-16T17:23:43Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - GUARD-D-LLM: An LLM-Based Risk Assessment Engine for the Downstream uses of LLMs [0.0]
本稿では,大規模言語モデル(LLM)の下流から発生するリスクについて検討する。
テキストベースのユーザ入力から派生した特定のユースケースに関連する脅威を特定し、ランク付けする新しいLCMベースのリスクアセスメントエンジン(GUARD-D-LLM)を導入する。
30の知的エージェントを統合することで、この革新的なアプローチは、悪夢のリスクを特定し、その重症度を測定し、緩和のためのターゲットとなる提案を提供し、リスク認識開発を促進する。
論文 参考訳（メタデータ） (2024-04-02T05:25:17Z) - Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。
彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。
本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
論文 参考訳（メタデータ） (2024-02-06T18:54:07Z) - Quantitative AI Risk Assessments: Opportunities and Challenges [7.35411010153049]
リスクを減らす最善の方法は、包括的なAIライフサイクルガバナンスを実装することです。
リスクは技術コミュニティのメトリクスを使って定量化できます。
本稿では,このようなアプローチの機会,課題,潜在的影響に焦点をあてて,これらの課題について考察する。
論文 参考訳（メタデータ） (2022-09-13T21:47:25Z) - A Survey of Risk-Aware Multi-Armed Bandits [84.67376599822569]
我々は、様々な利害リスク対策をレビューし、その特性についてコメントする。
我々は,探索と探索のトレードオフが現れる,後悔の最小化設定のためのアルゴリズムを検討する。
今後の研究の課題と肥大化についてコメントし、締めくくりに締めくくります。
論文 参考訳（メタデータ） (2022-05-12T02:20:34Z) - Learning Bounds for Risk-sensitive Learning [86.50262971918276]
リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。
最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
論文 参考訳（メタデータ） (2020-06-15T05:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。