論文の概要: AI Safety: A Climb To Armageddon?
- arxiv url: http://arxiv.org/abs/2405.19832v2
- Date: Sun, 2 Jun 2024 22:32:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 13:40:18.750750
- Title: AI Safety: A Climb To Armageddon?
- Title（参考訳）: AIの安全性:アーマゲドンへの夢?
- Authors: Herman Cappelen, Josh Dever, John Hawthorne,
- Abstract要約: 本稿では,最適化,緩和,ホロリズムの3つの対応戦略について検討する。
この議論の驚くべき堅牢性は、AIの安全性に関するコア前提の再検討を迫られる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents an argument that certain AI safety measures, rather than mitigating existential risk, may instead exacerbate it. Under certain key assumptions - the inevitability of AI failure, the expected correlation between an AI system's power at the point of failure and the severity of the resulting harm, and the tendency of safety measures to enable AI systems to become more powerful before failing - safety efforts have negative expected utility. The paper examines three response strategies: Optimism, Mitigation, and Holism. Each faces challenges stemming from intrinsic features of the AI safety landscape that we term Bottlenecking, the Perfection Barrier, and Equilibrium Fluctuation. The surprising robustness of the argument forces a re-examination of core assumptions around AI safety and points to several avenues for further research.
- Abstract（参考訳）: 本稿では,既存のリスクを軽減するのではなく,AIの安全性対策によってさらに悪化する可能性について論じる。
AIの失敗の必然性、障害の時点におけるAIシステムのパワーと結果の害の重大さとの期待された相関、失敗前にAIシステムがより強力になるための安全対策の傾向など、いくつかの重要な前提の下では、安全性の取り組みには、負の期待された実用性がある。
本稿では,最適化,緩和,ホロリズムの3つの対応戦略について検討する。
それぞれの課題は、私たちがBottlenecking、Perfection Barrier、Equilibrium Fluctuationと呼んでいる、AIの安全性ランドスケープの本質的な特徴に起因しています。
この議論の驚くべき堅牢性は、AIの安全性に関するコア前提の再検討を迫られ、さらなる研究のためのいくつかの道のりを指し示している。
関連論文リスト
- Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。
私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
論文 参考訳（メタデータ） (2024-10-25T07:53:32Z) - A Trilogy of AI Safety Frameworks: Paths from Facts and Knowledge Gaps to Reliable Predictions and New Knowledge [0.0]
AI安全は、AIコミュニティ内外の多くの科学者にとって重要な最前線の関心事となっている。
機械学習システムには、生存リスクから人間の存在、深い偽造、偏見まで、すぐに、長期にわたって予測されるリスクが数多く存在する。
論文 参考訳（メタデータ） (2024-10-09T14:43:06Z) - Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。
我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
論文 参考訳（メタデータ） (2024-07-31T17:59:24Z) - Human-AI Safety: A Descendant of Generative AI and Control Systems Safety [6.100304850888953]
先進的なAI技術に対する有意義な安全性保証には、AI出力と人間の振る舞いによって形成されるフィードバックループが、どのようにして異なる結果に向かって相互作用を駆動するかについての推論が必要である、と我々は主張する。
我々は、次世代の人間中心AI安全性に向けた具体的な技術ロードマップを提案する。
論文 参考訳（メタデータ） (2024-05-16T03:52:00Z) - Work-in-Progress: Crash Course: Can (Under Attack) Autonomous Driving Beat Human Drivers? [60.51287814584477]
本稿では,現在のAVの状況を調べることによって,自律運転における本質的なリスクを評価する。
AVの利点と、現実のシナリオにおける潜在的なセキュリティ課題との微妙なバランスを強調した、特定のクレームを開発する。
論文 参考訳（メタデータ） (2024-05-14T09:42:21Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - Absolutist AI [0.0]
絶対的な制約でAIシステムを訓練することは、多くのAI安全問題にかなりの進歩をもたらす可能性がある。
ミスアライメントの最悪の結果を避けるためのガードレールを提供する。
非常に価値のある結果を得るために、AIが大惨事を引き起こすのを防げるかもしれない。
論文 参考訳（メタデータ） (2023-07-19T03:40:37Z) - AI Maintenance: A Robustness Perspective [91.28724422822003]
我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。
本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。
我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
論文 参考訳（メタデータ） (2023-01-08T15:02:38Z) - Understanding and Avoiding AI Failures: A Practical Guide [0.6526824510982799]
AIアプリケーションに関連するリスクを理解するためのフレームワークを作成します。
また、AIの安全性原則を使用して、AIにおけるインテリジェンスと人間のような品質のユニークなリスクを定量化しています。
論文 参考訳（メタデータ） (2021-04-22T17:05:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。