論文の概要: Safety Co-Option and Compromised National Security: The Self-Fulfilling Prophecy of Weakened AI Risk Thresholds
- arxiv url: http://arxiv.org/abs/2504.15088v1
- Date: Mon, 21 Apr 2025 13:20:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-29 16:26:56.144127
- Title: Safety Co-Option and Compromised National Security: The Self-Fulfilling Prophecy of Weakened AI Risk Thresholds
- Title（参考訳）: 安全と妥協された国家安全保障 - 弱体化AIリスクの自給自足の予言
- Authors: Heidy Khlaaf, Sarah Myers West,
- Abstract要約: 我々は「安全リビジョン主義」がAI技術者に「安全リビジョン主義」への関与を許したことを示す。
我々は、国家安全における基礎モデル使用のAIリスク決定と評価の現在の軌道が、どのようにして最下層へのレースの場に置かれるかを考察する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Risk thresholds provide a measure of the level of risk exposure that a society or individual is willing to withstand, ultimately shaping how we determine the safety of technological systems. Against the backdrop of the Cold War, the first risk analyses, such as those devised for nuclear systems, cemented societally accepted risk thresholds against which safety-critical and defense systems are now evaluated. But today, the appropriate risk tolerances for AI systems have yet to be agreed on by global governing efforts, despite the need for democratic deliberation regarding the acceptable levels of harm to human life. Absent such AI risk thresholds, AI technologists-primarily industry labs, as well as "AI safety" focused organizations-have instead advocated for risk tolerances skewed by a purported AI arms race and speculative "existential" risks, taking over the arbitration of risk determinations with life-or-death consequences, subverting democratic processes. In this paper, we demonstrate how such approaches have allowed AI technologists to engage in "safety revisionism," substituting traditional safety methods and terminology with ill-defined alternatives that vie for the accelerated adoption of military AI uses at the cost of lowered safety and security thresholds. We explore how the current trajectory for AI risk determination and evaluation for foundation model use within national security is poised for a race to the bottom, to the detriment of the US's national security interests. Safety-critical and defense systems must comply with assurance frameworks that are aligned with established risk thresholds, and foundation models are no exception. As such, development of evaluation frameworks for AI-based military systems must preserve the safety and security of US critical and defense infrastructure, and remain in alignment with international humanitarian law.
- Abstract（参考訳）: リスク閾値は、社会または個人が許容するリスク露光のレベルを測るもので、究極的には、技術システムの安全性を決定する方法を形成する。
冷戦の背景から、原子力システムのために考案されたような最初のリスク分析は、現在安全クリティカルおよび防衛システムが評価されている社会的に受け入れられたリスク閾値を補強した。
しかし今日、AIシステムの適切なリスク寛容は、人間の生活に許容される害のレベルに関する民主的検討の必要性にもかかわらず、グローバルな統治努力によってまだ合意されていない。
このようなAIリスクしきい値、AI技術者、主に産業ラボ、そして「AI安全」に焦点を当てた組織は、代わりに、報告されたAI武器レースと投機的な「存在」リスクによって歪められたリスク許容を提唱し、命または死の結果によるリスク決定の仲裁を引き継ぎ、民主的プロセスを覆した。
本稿では、このようなアプローチによって、従来の安全手法や用語に代えて、安全とセキュリティのしきい値の低減を犠牲にして、軍用AIの採用を加速させる、不明確な代替手段をAI技術者がいかにして「安全修正主義」に移行したかを実証する。
我々は、国家安全におけるAIリスク決定と基礎モデル使用の評価の現在の軌道が、米国の国家安全保障への関心を損なうために、いかにして最下層への競争に向けられているかを探る。
安全クリティカルで防衛的なシステムは、確立されたリスクしきい値に適合する保証の枠組みに従わなければならない。
そのため、AIベースの軍事システム評価フレームワークの開発は、米国の重要防衛インフラの安全性と安全性を維持し、国際人道法に則って維持する必要がある。
関連論文リスト
- Frontier AI's Impact on the Cybersecurity Landscape [42.771086928042315]
本稿では,フロンティアAIがサイバーセキュリティに与える影響を詳細に分析する。
まず、サイバーセキュリティにおけるフロンティアAIの限界リスクを定義し、分類する。
そして、サイバーセキュリティにおけるフロンティアAIの現在と将来の影響を体系的に分析する。
論文 参考訳（メタデータ） (2025-04-07T18:25:18Z) - An Approach to Technical AGI Safety and Security [72.83728459135101]
我々は、人類を著しく傷つけるのに十分な害のリスクに対処するアプローチを開発する。
私たちは、誤用や悪用に対する技術的なアプローチに重点を置いています。
これらの成分を組み合わせてAGIシステムの安全性を実現する方法について概説する。
論文 参考訳（メタデータ） (2025-04-02T15:59:31Z) - AI threats to national security can be countered through an incident regime [55.2480439325792]
我々は、AIシステムからの潜在的な国家安全保障脅威に対抗することを目的とした、法的に義務付けられたポストデプロイAIインシデントシステムを提案する。
提案したAIインシデント体制は,3段階に分けられる。第1フェーズは,‘AIインシデント’とみなすような,新たな運用方法を中心に展開される。
第2フェーズと第3フェーズでは、AIプロバイダが政府機関にインシデントを通知し、政府機関がAIプロバイダのセキュリティおよび安全手順の修正に関与するべきだ、と説明されている。
論文 参考訳（メタデータ） (2025-03-25T17:51:50Z) - AI Safety for Everyone [3.440579243843689]
AIの安全性に関する最近の議論と研究は、AIの安全性と高度なAIシステムからの現実的リスクとの深いつながりを強調している。
このフレーミングは、AIの安全性にコミットしているが、異なる角度から分野にアプローチする研究者や実践者を排除する可能性がある。
私たちは、現在のAIシステムに対する即時的で実践的な懸念に対処する、数多くの具体的な安全作業を見つけました。
論文 参考訳（メタデータ） (2025-02-13T13:04:59Z) - AI Safety is Stuck in Technical Terms -- A System Safety Response to the International AI Safety Report [0.0]
安全は、支配的なAIガバナンスの取り組みが形成される中心的な価値となっている。
このレポートは、汎用AIと利用可能な技術的緩和アプローチの安全性リスクに焦点を当てている。
システム安全性の規律は、何十年もの間、ソフトウェアベースのシステムの安全性リスクに対処してきた。
論文 参考訳（メタデータ） (2025-02-05T22:37:53Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。
我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
論文 参考訳（メタデータ） (2024-07-31T17:59:24Z) - AI Risk Management Should Incorporate Both Safety and Security [185.68738503122114]
AIリスクマネジメントの利害関係者は、安全とセキュリティの間のニュアンス、シナジー、相互作用を意識すべきである、と私たちは主張する。
我々は、AIの安全性とAIのセキュリティの違いと相互作用を明らかにするために、統一された参照フレームワークを導入する。
論文 参考訳（メタデータ） (2024-05-29T21:00:47Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - Affirmative safety: An approach to risk management for high-risk AI [6.133009503054252]
高いリスクを持つAIシステムを開発または展開するエンティティは、肯定的な安全性の証拠を示すために必要であるべきだ、と私たちは主張する。
本稿では,モデル開発者が一定のリスクを規制基準値以下に維持する証拠を提示しなければならない,高度なAIのためのリスク管理手法を提案する。
論文 参考訳（メタデータ） (2024-04-14T20:48:55Z) - Taking control: Policies to address extinction risks from AI [0.0]
AI企業からの自発的なコミットメントは不適切で不十分な反応である、と私たちは主張する。
先進的なAIの脅威に有意義に対処する3つの政策提案について述べる。
論文 参考訳（メタデータ） (2023-10-31T15:53:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。