論文の概要: X-Risk Analysis for AI Research
- arxiv url: http://arxiv.org/abs/2206.05862v1
- Date: Mon, 13 Jun 2022 00:22:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 17:07:27.326477
- Title: X-Risk Analysis for AI Research
- Title（参考訳）: AI研究のためのX-Risk解析
- Authors: Dan Hendrycks, Mantas Mazeika
- Abstract要約: 現在のAI研究は、AIシステムから長期的リスクを管理する方法に関する体系的な議論を欠いている。
AIが人類の長期的な可能性を改善するのに不可欠なものであることを忘れてはならないが、よりインテリジェントで強力なAIシステムを構築することが、私たちよりも強力なシステムをもたらすのではないか、という懸念もある。
- 参考スコア（独自算出の注目度）: 24.78742908726579
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial intelligence (AI) has the potential to greatly improve society,
but as with any powerful technology, it comes with heightened risks and
responsibilities. Current AI research lacks a systematic discussion of how to
manage long-tail risks from AI systems, including speculative long-term risks.
Keeping in mind that AI may be integral to improving humanity's long-term
potential, there is some concern that building ever more intelligent and
powerful AI systems could eventually result in systems that are more powerful
than us; some say this is like playing with fire and speculate that this could
create existential risks (x-risks). To add precision and ground these
discussions, we review a collection of time-tested concepts from hazard
analysis and systems safety, which have been designed to steer large processes
in safer directions. We then discuss how AI researchers can realistically have
long-term impacts on the safety of AI systems. Finally, we discuss how to
robustly shape the processes that will affect the balance between safety and
general capabilities.
- Abstract（参考訳）: 人工知能(AI)は、社会を大幅に改善する可能性があるが、強力なテクノロジーと同様に、リスクと責任が高められる。
現在のAI研究は、投機的長期リスクを含むAIシステムから長期リスクを管理する方法に関する体系的な議論を欠いている。
AIが人類の長期的な可能性を改善するのに不可欠である可能性を念頭に置いて、よりインテリジェントで強力なAIシステムを構築することが、最終的には私たちよりも強力なシステムをもたらすのではないかという懸念がある。
これらの議論の正確さと基礎化のため,我々は,大規模プロセスをより安全な方向に進めるように設計されたハザード分析とシステム安全性の観点から,時間的にテストされた概念の集合について検討する。
次に、AI研究者がAIシステムの安全性に長期的な影響を現実的に与える方法について論じる。
最後に、安全性と一般的な能力のバランスに影響を与えるプロセスを堅牢に形成する方法について論じる。
関連論文リスト
- Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
AIシステムは知恵を欠いている。
AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。
メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
論文 参考訳（メタデータ） (2024-11-04T18:10:10Z) - Trustworthy, Responsible, and Safe AI: A Comprehensive Architectural Framework for AI Safety with Challenges and Mitigations [14.150792596344674]
AI安全性は、AIシステムの安全な採用とデプロイにおいて重要な領域である。
私たちの目標は、AI安全研究の進歩を促進し、究極的には、デジタルトランスフォーメーションに対する人々の信頼を高めることです。
論文 参考訳（メタデータ） (2024-08-23T09:33:48Z) - Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。
我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
論文 参考訳（メタデータ） (2024-07-31T17:59:24Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - Artificial Intelligence: Arguments for Catastrophic Risk [0.0]
我々は、AIが破滅的なリスクにどう影響するかを示すために、2つの影響力ある議論をレビューする。
電力探究の問題の最初の議論は、先進的なAIシステムが危険な電力探究行動に関与する可能性が高いと主張している。
第2の主張は、人間レベルのAIの開発が、さらなる進歩を早めるだろう、というものである。
論文 参考訳（メタデータ） (2024-01-27T19:34:13Z) - Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。
化学科学における誤用の実例を取り上げる。
我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
論文 参考訳（メタデータ） (2023-12-11T18:50:57Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - AI Hazard Management: A framework for the systematic management of root
causes for AI risks [0.0]
本稿ではAI Hazard Management(AIHM)フレームワークを紹介する。
AIのハザードを体系的に識別し、評価し、治療するための構造化されたプロセスを提供する。
総合的な最先端分析からAIハザードリストを構築する。
論文 参考訳（メタデータ） (2023-10-25T15:55:50Z) - An Overview of Catastrophic AI Risks [38.84933208563934]
本稿では,破滅的なAIリスクの主な要因について概説し,その要因を4つのカテゴリに分類する。
個人やグループが意図的にAIを使用して危害を及ぼす悪用; 競争環境がアクターに安全でないAIを配置させたり、AIに制御を強制するAIレース。
組織的リスクは 人的要因と複雑なシステムが 破滅的な事故の 可能性を高めることを示しています
不正なAIは、人間よりもはるかにインテリジェントなエージェントを制御することの難しさを説明する。
論文 参考訳（メタデータ） (2023-06-21T03:35:06Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。