論文の概要: Actionable Guidance for High-Consequence AI Risk Management: Towards
Standards Addressing AI Catastrophic Risks
- arxiv url: http://arxiv.org/abs/2206.08966v1
- Date: Fri, 17 Jun 2022 18:40:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 14:53:27.577322
- Title: Actionable Guidance for High-Consequence AI Risk Management: Towards
Standards Addressing AI Catastrophic Risks
- Title(参考訳): 高頻度AIリスクマネジメントのための実用的なガイダンス:AI破滅的なリスクに対処する標準に向けて
- Authors: Anthony M. Barrett (1), Dan Hendrycks (1), Jessica Newman (1), Brandie
Nonnecke (1) ((1) UC Berkeley)
- Abstract要約: 人工知能(AI)システムは、社会規模で非常に高い、または破滅的な結果をもたらす事象のリスクを提示することができる。
NISTはAIリスク評価と管理に関する自主的なガイダンスとして、AI RMF(AI Artificial Intelligence Risk Management Framework)を開発している。
我々は、非常に高い、または破滅的な結果のイベントのリスクを特定し、管理することに焦点を当てた、行動可能なガイダンスの詳細な推奨を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial intelligence (AI) systems can provide many beneficial capabilities
but also risks of adverse events. Some AI systems could present risks of events
with very high or catastrophic consequences at societal scale. The US National
Institute of Standards and Technology (NIST) is developing the NIST Artificial
Intelligence Risk Management Framework (AI RMF) as voluntary guidance on AI
risk assessment and management for AI developers and others. For addressing
risks of events with catastrophic consequences, NIST indicated a need to
translate from high level principles to actionable risk management guidance.
In this document, we provide detailed actionable-guidance recommendations
focused on identifying and managing risks of events with very high or
catastrophic consequences, intended as a risk management practices resource for
NIST for AI RMF version 1.0 (scheduled for release in early 2023), or for AI
RMF users, or for other AI risk management guidance and standards as
appropriate. We also provide our methodology for our recommendations.
We provide actionable-guidance recommendations for AI RMF 1.0 on: identifying
risks from potential unintended uses and misuses of AI systems; including
catastrophic-risk factors within the scope of risk assessments and impact
assessments; identifying and mitigating human rights harms; and reporting
information on AI risk factors including catastrophic-risk factors.
In addition, we provide recommendations on additional issues for a roadmap
for later versions of the AI RMF or supplementary publications. These include:
providing an AI RMF Profile with supplementary guidance for cutting-edge
increasingly multi-purpose or general-purpose AI.
We aim for this work to be a concrete risk-management practices contribution,
and to stimulate constructive dialogue on how to address catastrophic risks and
associated issues in AI standards.
- Abstract(参考訳): 人工知能(AI)システムは、多くの有益な能力を提供するだけでなく、有害事象のリスクも与えている。
一部のAIシステムは、社会規模で非常に高い、または破滅的な結果をもたらす事象のリスクを示す可能性がある。
アメリカ国立標準技術研究所(NIST)は、AI開発者などのAIリスク評価と管理に関する自主的なガイダンスとして、AI RMF(AI Intelligence Risk Management Framework)を開発している。
破滅的な結果をもたらす事象のリスクに対処するため、NISTはハイレベルな原則から行動可能なリスク管理ガイダンスへの転換の必要性を示した。
本報告では,AI RMFバージョン1.0(2023年初頭にリリース予定)やAI RMFユーザ,あるいはその他のAIリスク管理ガイダンスや標準に対して,NISTのリスク管理実践リソースとして意図された,極めて高いないし破滅的な結果のイベントのリスクを特定し,管理することを目的とした,詳細な行動可能なガイダンスを提供する。
勧告の方法論も提供します。
我々は、AI RMF 1.0に対して、AIシステムの潜在的意図しない使用や誤用からのリスクの特定、リスク評価と影響評価の範囲内の破滅的なリスク要因の特定、人権侵害の特定と軽減、破滅的なリスク要因を含むAIのリスク要因に関する情報の報告を行う。
さらに、AI RMFの後期バージョンや補足刊行物のロードマップに追加の課題について推奨する。
最先端の多目的あるいは汎用AIのための補助的なガイダンスを備えたAI RMF Profileの提供。
この研究は、具体的なリスク管理プラクティスのコントリビューションであり、AI標準における破滅的なリスクや関連する問題への対処方法に関する建設的な対話を促進することを目的としている。
関連論文リスト
- Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。
化学科学における誤用の実例を取り上げる。
我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
論文 参考訳(メタデータ) (2023-12-11T18:50:57Z) - RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value
Factorization [51.386963525376395]
本稿では,リスクに敏感な個人・グローバル・マックス(RIGM)の原則を,個人・グローバル・マックス(IGM)と分散IGM(DIGM)の原則の一般化として紹介する。
RiskQは広範な実験によって有望な性能が得られることを示す。
論文 参考訳(メタデータ) (2023-11-03T07:18:36Z) - Managing AI Risks in an Era of Rapid Progress [147.61764296776164]
我々は、大規模社会被害と悪用、および自律型AIシステムに対する人間の制御の不可逆的喪失について検討する。
迅速かつ継続的なAIの進歩を踏まえ、我々はAI研究開発とガバナンスの緊急優先事項を提案する。
論文 参考訳(メタデータ) (2023-10-26T17:59:06Z) - AI Hazard Management: A framework for the systematic management of root
causes for AI risks [0.0]
本稿ではAI Hazard Management(AIHM)フレームワークを紹介する。
AIのハザードを体系的に識別し、評価し、治療するための構造化されたプロセスを提供する。
総合的な最先端分析からAIハザードリストを構築する。
論文 参考訳(メタデータ) (2023-10-25T15:55:50Z) - An Overview of Catastrophic AI Risks [38.84933208563934]
本稿では,破滅的なAIリスクの主な要因について概説し,その要因を4つのカテゴリに分類する。
個人やグループが意図的にAIを使用して危害を及ぼす悪用; 競争環境がアクターに安全でないAIを配置させたり、AIに制御を強制するAIレース。
組織的リスクは 人的要因と複雑なシステムが 破滅的な事故の 可能性を高めることを示しています
不正なAIは、人間よりもはるかにインテリジェントなエージェントを制御することの難しさを説明する。
論文 参考訳(メタデータ) (2023-06-21T03:35:06Z) - Model evaluation for extreme risks [46.53170857607407]
AI開発のさらなる進歩は、攻撃的なサイバー能力や強力な操作スキルのような極端なリスクを引き起こす能力につながる可能性がある。
モデル評価が極端なリスクに対処するために重要である理由を説明します。
論文 参考訳(メタデータ) (2023-05-24T16:38:43Z) - QB4AIRA: A Question Bank for AI Risk Assessment [19.783485414942284]
QB4AIRAは、幅広いAIリスク領域をカバーする293の優先順位付けされた質問で構成されている。
AIリスクの評価と管理において、利害関係者にとって貴重なリソースとして機能する。
論文 参考訳(メタデータ) (2023-05-16T09:18:44Z) - Foveate, Attribute, and Rationalize: Towards Physically Safe and
Trustworthy AI [76.28956947107372]
包括的不安全テキストは、日常的なシナリオから生じる可能性のある特定の関心領域であり、有害なテキストを検出するのが困難である。
安全の文脈において、信頼に値する合理的な生成のために外部知識を活用する新しいフレームワークであるFARMを提案する。
実験の結果,FARMはSafeTextデータセットの最先端結果を得ることができ,安全性の分類精度が5.9%向上したことがわかった。
論文 参考訳(メタデータ) (2022-12-19T17:51:47Z) - Three lines of defense against risks from AI [0.0]
AIリスク管理の責任者は必ずしも明確ではない。
3つの防衛ライン(3LoD)モデルは、多くの産業でベストプラクティスと考えられている。
私は、AI企業がモデルを実装できる方法を提案する。
論文 参考訳(メタデータ) (2022-12-16T09:33:00Z) - Quantitative AI Risk Assessments: Opportunities and Challenges [9.262092738841979]
AIベースのシステムは、組織、個人、社会に価値を提供するために、ますます活用されている。
リスクは、提案された規制、訴訟、および一般的な社会的懸念につながった。
本稿では,定量的AIリスクアセスメントの概念について考察する。
論文 参考訳(メタデータ) (2022-09-13T21:47:25Z) - Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。
特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。
迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
論文 参考訳(メタデータ) (2022-05-10T19:40:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。