論文の概要: Risk assessment at AGI companies: A review of popular risk assessment
techniques from other safety-critical industries
- arxiv url: http://arxiv.org/abs/2307.08823v1
- Date: Mon, 17 Jul 2023 20:36:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 17:19:35.563554
- Title: Risk assessment at AGI companies: A review of popular risk assessment
techniques from other safety-critical industries
- Title（参考訳）: AGI企業におけるリスクアセスメント:他の安全クリティカル産業のリスクアセスメント手法のレビュー
- Authors: Leonie Koessler, Jonas Schuett
- Abstract要約: OpenAI、Google DeepMind、Anthhropicといった企業は、人工知能(AGI)の構築を目標としている。
AGIが壊滅的なリスクをもたらすとの懸念が高まっている。
本稿では,他の安全クリティカル産業のリスクアセスメント技術についてレビューし,AGI企業が活用する方法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Companies like OpenAI, Google DeepMind, and Anthropic have the stated goal of
building artificial general intelligence (AGI) - AI systems that perform as
well as or better than humans on a wide variety of cognitive tasks. However,
there are increasing concerns that AGI would pose catastrophic risks. In light
of this, AGI companies need to drastically improve their risk management
practices. To support such efforts, this paper reviews popular risk assessment
techniques from other safety-critical industries and suggests ways in which AGI
companies could use them to assess catastrophic risks from AI. The paper
discusses three risk identification techniques (scenario analysis, fishbone
method, and risk typologies and taxonomies), five risk analysis techniques
(causal mapping, Delphi technique, cross-impact analysis, bow tie analysis, and
system-theoretic process analysis), and two risk evaluation techniques
(checklists and risk matrices). For each of them, the paper explains how they
work, suggests ways in which AGI companies could use them, discusses their
benefits and limitations, and makes recommendations. Finally, the paper
discusses when to conduct risk assessments, when to use which technique, and
how to use any of them. The reviewed techniques will be obvious to risk
management professionals in other industries. And they will not be sufficient
to assess catastrophic risks from AI. However, AGI companies should not skip
the straightforward step of reviewing best practices from other industries.
- Abstract（参考訳）: OpenAI、Google DeepMind、Anthhropicといった企業は、さまざまな認知タスクにおいて、人間と同等以上のパフォーマンスを持つ人工知能(AGI)を構築するという目標を掲げている。
しかし、AGIが壊滅的なリスクをもたらすとの懸念が高まっている。
これを踏まえて、AGI企業はリスク管理の実践を大幅に改善する必要があります。
このような取り組みを支援するため,他の安全クリティカル産業のリスクアセスメント手法をレビューし,AIによる破滅的なリスク評価にAGI企業が活用する方法を提案する。
本稿では,リスク識別技術(scenario analysis, fishbone method, and risk typologies and taxonomies),5つのリスク分析技術(causal mapping, delphi technique, cross-impact analysis, bow tie analysis, and system-theoretic process analysis),2つのリスク評価手法(チェックリストとリスクマトリクス)について述べる。
それぞれについて、その動作方法を説明し、agi企業がそれらを利用する方法を提案し、そのメリットと限界を議論し、推奨する。
最後に、リスクアセスメントの実施時期、そのテクニックの使用時期、使用方法について論じる。
レビューされたテクニックは、他の業界のリスク管理専門家にとって明らかです。
aiによる壊滅的なリスクを評価するには不十分です。
しかし、AGI企業は、他の業界からベストプラクティスをレビューする簡単な手順を省略すべきではない。
関連論文リスト
- Mapping Technical Safety Research at AI Companies: A literature review and incentives analysis [0.0]
レポートは、3つの主要なAI企業が実施する安全なAI開発に関する技術研究を分析している。
Anthropic、Google DeepMind、OpenAI。
私たちは安全なAI開発を、大規模な誤用や事故のリスクを生じにくいAIシステムの開発であると定義しました。
論文 参考訳（メタデータ） (2024-09-12T09:34:55Z) - Risks and NLP Design: A Case Study on Procedural Document QA [52.557503571760215]
より具体的なアプリケーションやユーザに対して分析を専門化すれば,ユーザに対するリスクや害の明確な評価が可能になる,と我々は主張する。
リスク指向のエラー分析を行い、リスクの低減とパフォーマンスの向上を図り、将来のシステムの設計を通知する。
論文 参考訳（メタデータ） (2024-08-16T17:23:43Z) - The AI Risk Repository: A Comprehensive Meta-Review, Database, and Taxonomy of Risks From Artificial Intelligence [35.77247656798871]
人工知能(AI)によって引き起こされるリスクは、学者、監査人、政策立案者、AI企業、そして一般大衆にかなり懸念されている。
AIリスクに対する共通理解の欠如は、包括的に議論し、研究し、それに反応する能力を妨げる可能性がある。
本稿では、共通の参照フレームとして機能するAIリスクリポジトリを作成することで、このギャップに対処する。
論文 参考訳（メタデータ） (2024-08-14T10:32:06Z) - EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - Assessing the State of AI Policy [0.5156484100374057]
この研究は、国際、米国、市、および連邦レベルでのAI法と指令の概要を提供する。
また、関連するビジネス標準や技術社会のイニシアチブも見直している。
論文 参考訳（メタデータ） (2024-07-31T16:09:25Z) - Risks and Opportunities of Open-Source Generative AI [64.86989162783648]
Generative AI(Gen AI)の応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の変化の可能性は、この技術の潜在的なリスクについて活発に議論を巻き起こし、より厳格な規制を要求した。
この規制は、オープンソースの生成AIの誕生する分野を危険にさらす可能性がある。
論文 参考訳（メタデータ） (2024-05-14T13:37:36Z) - Near to Mid-term Risks and Opportunities of Open-Source Generative AI [94.06233419171016]
Generative AIの応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の影響の可能性は、潜在的なリスクに関する活発な議論を引き起こし、より厳格な規制を要求した。
この規制は、オープンソースのジェネレーティブAIの誕生する分野を危険にさらしている可能性が高い。
論文 参考訳（メタデータ） (2024-04-25T21:14:24Z) - Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。
化学科学における誤用の実例を取り上げる。
我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
論文 参考訳（メタデータ） (2023-12-11T18:50:57Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - Quantitative AI Risk Assessments: Opportunities and Challenges [9.262092738841979]
AIベースのシステムは、組織、個人、社会に価値を提供するために、ますます活用されている。
リスクは、提案された規制、訴訟、および一般的な社会的懸念につながった。
本稿では,定量的AIリスクアセスメントの概念について考察する。
論文 参考訳（メタデータ） (2022-09-13T21:47:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。