論文の概要: The Normalization of Deviance in AI Development

• arxiv url: http://arxiv.org/abs/2609.05749v1
• Date: Fri, 04 Sep 2026 22:00:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.128573
• Title: The Normalization of Deviance in AI Development
• Title（参考訳）: AI開発における死の正規化
• Abstract要約: スペースシャトルチャレンジャー、スリーマイル島事故、ボーイング737MAX事故のケーススタディに基づいて、各失敗の前の共通構造機構を特定し、それらを現代のAI開発にマッピングする。 既存の安全インフラは、組織が完全なコンプライアンスで安全プロセスを完了し、なおも破滅的な結果をもたらすことができるため、見かけより少ない保護を提供する可能性があることを示唆している。
• 参考スコア（独自算出の注目度）: 39.146761527401424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Work on the risks of artificial intelligence has focused predominantly on capability risk: the danger that systems become too powerful, too autonomous, or too misaligned with human values. Far less attention has been paid to the organizational level---to whether the institutions building these systems are themselves predisposed to drift toward failure. This paper argues that they are. Regardless of how capable AI systems become, the organizations building them face the same structural dynamics that preceded past major technological disasters. Drawing on case studies of the Space Shuttle Challenger, the Three Mile Island accident, and the Boeing 737 MAX crashes, this paper identifies the common structural mechanisms preceding each failure and maps them onto contemporary AI development. The findings suggest that existing safety infrastructure may provide less protection than it appears, as organizations can complete safety processes in full compliance and still produce catastrophic outcomes. The pre-disaster period of AI development is still underway; the purpose of this paper is to make these dynamics legible while they can still be interrupted.
• Abstract（参考訳）: 人工知能のリスクに対する取り組みは、主に能力リスクに焦点を当てている。 組織レベルでは、これらのシステムを構築する組織自体が失敗に向かって漂流していると想定されているかどうかに、はるかに注意が払われていない。 この論文はそれらが正しいと論じている。 AIシステムがいかに有能になるにせよ、それらを構築する組織は、過去の大きな技術的災害に先立って、同じ構造的ダイナミクスに直面している。 スペースシャトルチャレンジャー、スリーマイル島事故、ボーイング737MAX事故のケーススタディに基づいて、各失敗の前の共通構造機構を特定し、それらを現代のAI開発にマッピングする。 既存の安全インフラは、組織が完全なコンプライアンスで安全プロセスを完了し、なおも破滅的な結果をもたらすことができるため、見かけより少ない保護を提供する可能性があることを示唆している。 この論文の目的は、これらのダイナミクスを中断しながらも検証できるようにすることである。

関連論文リスト

• ANNIE: Be Careful of Your Robots [48.89876809734855]
  エンボディドAIシステムに対する敵の安全攻撃に関する最初の体系的研究について述べる。 すべての安全カテゴリーで攻撃の成功率は50%を超えている。 結果は、実証済みのAIシステムにおいて、これまで未調査だったが、非常に連続的な攻撃面を露呈する。
  論文  参考訳（メタデータ） (2025-09-03T15:00:28Z)
• Report on NSF Workshop on Science of Safe AI [75.96202715567088]
  機械学習の新たな進歩は、社会問題に対する技術ベースのソリューションを開発する新たな機会につながっている。 AIの約束を果たすためには、正確でパフォーマンスが高く、安全で信頼性の高いAIベースのシステムを開発する方法に取り組む必要がある。 本報告はワークショップの安全性の異なる側面に対処した作業グループにおける議論の結果である。
  論文  参考訳（メタデータ） (2025-06-24T18:55:29Z)
• AI threats to national security can be countered through an incident regime [55.2480439325792]
  我々は、AIシステムからの潜在的な国家安全保障脅威に対抗することを目的とした、法的に義務付けられたポストデプロイAIインシデントシステムを提案する。 提案したAIインシデント体制は,3段階に分けられる。第1フェーズは,‘AIインシデント’とみなすような,新たな運用方法を中心に展開される。 第2フェーズと第3フェーズでは、AIプロバイダが政府機関にインシデントを通知し、政府機関がAIプロバイダのセキュリティおよび安全手順の修正に関与するべきだ、と説明されている。
  論文  参考訳（メタデータ） (2025-03-25T17:51:50Z)
• Position: Mind the Gap-the Growing Disconnect Between Established Vulnerability Disclosure and AI Security [56.219994752894294]
  我々は、AIセキュリティレポートに既存のプロセスを適用することは、AIシステムの特徴的な特徴に対する根本的な欠点のために失敗する運命にあると主張している。 これらの欠点に対処する私たちの提案に基づき、AIセキュリティレポートへのアプローチと、新たなAIパラダイムであるAIエージェントが、AIセキュリティインシデント報告の進展をさらに強化する方法について論じる。
  論文  参考訳（メタデータ） (2024-12-19T13:50:26Z)
• Considerations Influencing Offense-Defense Dynamics From Artificial Intelligence [0.0]
  AIは防御能力を向上するだけでなく、悪意ある搾取と大規模な社会的危害のための道も提示する。 本稿では、AIシステムが主に脅威を生じているか、社会に保護的利益をもたらすかに影響を及ぼす主要な要因をマップし、検証するための分類法を提案する。
  論文  参考訳（メタデータ） (2024-12-05T10:05:53Z)
• Beyond Accidents and Misuse: Decoding the Structural Risk Dynamics of Artificial Intelligence [0.0]
  本稿では,複雑なシステム研究を基盤としたフレームワークを導入することにより,構造リスクの概念を推し進める。 構造リスクを、先行する構造的原因、先行するAIシステム原因、有害なフィードバックループの3つのカテゴリに分類する。 本稿では,これらのダイナミクスを予測し,支配するために,シナリオマッピング,シミュレーション,探索的展望を取り入れた方法論的アジェンダを提案する。
  論文  参考訳（メタデータ） (2024-06-21T05:44:50Z)
• A Red Teaming Framework for Securing AI in Maritime Autonomous Systems [0.0]
  海上自律システムのAIセキュリティを評価するための,最初のレッドチームフレームワークを提案する。 このフレームワークはマルチパートのチェックリストであり、異なるシステムや要件に合わせて調整できる。 私たちはこのフレームワークが、現実の海上自律システムAI内の多数の脆弱性を明らかにするために、レッドチームにとって非常に効果的であることを実証しています。
  論文  参考訳（メタデータ） (2023-12-08T14:59:07Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• Examining the Differential Risk from High-level Artificial Intelligence and the Question of Control [0.0]
  将来のAI能力の範囲と範囲は、依然として重要な不確実性である。 AIの不透明な意思決定プロセスの統合と監視の程度には懸念がある。 本研究では、AIリスクをモデル化し、代替先分析のためのテンプレートを提供する階層的な複雑なシステムフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-06T15:46:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。