論文の概要: Risk assessment at AGI companies: A review of popular risk assessment
techniques from other safety-critical industries
- arxiv url: http://arxiv.org/abs/2307.08823v1
- Date: Mon, 17 Jul 2023 20:36:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 17:19:35.563554
- Title: Risk assessment at AGI companies: A review of popular risk assessment
techniques from other safety-critical industries
- Title(参考訳): AGI企業におけるリスクアセスメント:他の安全クリティカル産業のリスクアセスメント手法のレビュー
- Authors: Leonie Koessler, Jonas Schuett
- Abstract要約: OpenAI、Google DeepMind、Anthhropicといった企業は、人工知能(AGI)の構築を目標としている。
AGIが壊滅的なリスクをもたらすとの懸念が高まっている。
本稿では,他の安全クリティカル産業のリスクアセスメント技術についてレビューし,AGI企業が活用する方法を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Companies like OpenAI, Google DeepMind, and Anthropic have the stated goal of
building artificial general intelligence (AGI) - AI systems that perform as
well as or better than humans on a wide variety of cognitive tasks. However,
there are increasing concerns that AGI would pose catastrophic risks. In light
of this, AGI companies need to drastically improve their risk management
practices. To support such efforts, this paper reviews popular risk assessment
techniques from other safety-critical industries and suggests ways in which AGI
companies could use them to assess catastrophic risks from AI. The paper
discusses three risk identification techniques (scenario analysis, fishbone
method, and risk typologies and taxonomies), five risk analysis techniques
(causal mapping, Delphi technique, cross-impact analysis, bow tie analysis, and
system-theoretic process analysis), and two risk evaluation techniques
(checklists and risk matrices). For each of them, the paper explains how they
work, suggests ways in which AGI companies could use them, discusses their
benefits and limitations, and makes recommendations. Finally, the paper
discusses when to conduct risk assessments, when to use which technique, and
how to use any of them. The reviewed techniques will be obvious to risk
management professionals in other industries. And they will not be sufficient
to assess catastrophic risks from AI. However, AGI companies should not skip
the straightforward step of reviewing best practices from other industries.
- Abstract(参考訳): OpenAI、Google DeepMind、Anthhropicといった企業は、さまざまな認知タスクにおいて、人間と同等以上のパフォーマンスを持つ人工知能(AGI)を構築するという目標を掲げている。
しかし、AGIが壊滅的なリスクをもたらすとの懸念が高まっている。
これを踏まえて、AGI企業はリスク管理の実践を大幅に改善する必要があります。
このような取り組みを支援するため,他の安全クリティカル産業のリスクアセスメント手法をレビューし,AIによる破滅的なリスク評価にAGI企業が活用する方法を提案する。
本稿では,リスク識別技術(scenario analysis, fishbone method, and risk typologies and taxonomies),5つのリスク分析技術(causal mapping, delphi technique, cross-impact analysis, bow tie analysis, and system-theoretic process analysis),2つのリスク評価手法(チェックリストとリスクマトリクス)について述べる。
それぞれについて、その動作方法を説明し、agi企業がそれらを利用する方法を提案し、そのメリットと限界を議論し、推奨する。
最後に、リスクアセスメントの実施時期、そのテクニックの使用時期、使用方法について論じる。
レビューされたテクニックは、他の業界のリスク管理専門家にとって明らかです。
aiによる壊滅的なリスクを評価するには不十分です。
しかし、AGI企業は、他の業界からベストプラクティスをレビューする簡単な手順を省略すべきではない。
関連論文リスト
- Near to Mid-term Risks and Opportunities of Open Source Generative AI [94.06233419171016]
Generative AIの応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の影響の可能性は、潜在的なリスクに関する活発な議論を引き起こし、より厳格な規制を要求した。
この規制は、オープンソースのGenerative AIの誕生する分野を危険にさらしている可能性が高い。
論文 参考訳(メタデータ) (2024-04-25T21:14:24Z) - Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。
化学科学における誤用の実例を取り上げる。
我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
論文 参考訳(メタデータ) (2023-12-11T18:50:57Z) - Towards more Practical Threat Models in Artificial Intelligence Security [66.67624011455423]
最近の研究で、人工知能のセキュリティの研究と実践のギャップが特定されている。
我々は、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、実際にAIの使用と一致させる。
論文 参考訳(メタデータ) (2023-11-16T16:09:44Z) - The Promise and Peril of Artificial Intelligence -- Violet Teaming
Offers a Balanced Path Forward [56.16884466478886]
本稿では、不透明で制御不能なAIシステムにおける新興問題についてレビューする。
信頼性と責任のあるAIを開発するために、紫外チームと呼ばれる統合フレームワークを提案する。
それは、設計によって積極的にリスクを管理するためのAI安全研究から生まれた。
論文 参考訳(メタデータ) (2023-08-28T02:10:38Z) - TASRA: a Taxonomy and Analysis of Societal-Scale Risks from AI [11.240642213359267]
多くの抜本的な分類が可能であり、特に新しいリスクや安全性への実践的なアプローチを明らかにする場合、有用であるものもある。
本稿では,リスクに繋がる行動,アクターは一体化されているか,意図的かという,説明責任に基づく分類について考察する。
また、AIシステムの予期せぬ相互作用から生じるリスクや、意図的に悪用されるリスクなど、さまざまなリスクタイプがどのように機能するかを説明する物語も提供しています。
論文 参考訳(メタデータ) (2023-06-12T07:55:18Z) - On the Security Risks of Knowledge Graph Reasoning [71.64027889145261]
我々は、敵の目標、知識、攻撃ベクトルに応じて、KGRに対するセキュリティ脅威を体系化する。
我々は、このような脅威をインスタンス化する新しいタイプの攻撃であるROARを提示する。
ROARに対する潜在的な対策として,潜在的に有毒な知識のフィルタリングや,対向的な拡張クエリによるトレーニングについて検討する。
論文 参考訳(メタデータ) (2023-05-03T18:47:42Z) - Quantitative AI Risk Assessments: Opportunities and Challenges [9.262092738841979]
AIベースのシステムは、組織、個人、社会に価値を提供するために、ますます活用されている。
リスクは、提案された規制、訴訟、および一般的な社会的懸念につながった。
本稿では,定量的AIリスクアセスメントの概念について考察する。
論文 参考訳(メタデータ) (2022-09-13T21:47:25Z) - Actionable Guidance for High-Consequence AI Risk Management: Towards
Standards Addressing AI Catastrophic Risks [12.927021288925099]
人工知能(AI)システムは、社会規模で非常に高い、または破滅的な結果をもたらす事象のリスクを提示することができる。
NISTはAIリスク評価と管理に関する自主的なガイダンスとして、AI RMF(AI Artificial Intelligence Risk Management Framework)を開発している。
我々は、非常に高い、または破滅的な結果のイベントのリスクを特定し、管理することに焦点を当てた、行動可能なガイダンスの詳細な推奨を提供する。
論文 参考訳(メタデータ) (2022-06-17T18:40:41Z) - X-Risk Analysis for AI Research [24.78742908726579]
我々は、AI x-riskの分析方法のガイドを提供する。
まず、今日のシステムの安全性についてレビューする。
次に,今後のシステムの安全性に長期的影響を与える戦略について議論する。
論文 参考訳(メタデータ) (2022-06-13T00:22:50Z) - Metaethical Perspectives on 'Benchmarking' AI Ethics [81.65697003067841]
ベンチマークは、人工知能(AI)研究の技術的進歩を測定するための基盤とみられている。
AIの顕著な研究領域は倫理であり、現在、ベンチマークのセットも、AIシステムの「倫理性」を測定する一般的な方法もない。
我々は、現在と将来のAIシステムのアクションを考えるとき、倫理よりも「価値」について話す方が理にかなっていると論じる。
論文 参考訳(メタデータ) (2022-04-11T14:36:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。