論文の概要: Unsafe at any AUC: Unlearned Lessons from Sociotechnical Disasters for Responsible AI

• arxiv url: http://arxiv.org/abs/2607.14353v1
• Date: Wed, 15 Jul 2026 20:36:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:32.915257
• Title: Unsafe at any AUC: Unlearned Lessons from Sociotechnical Disasters for Responsible AI
• Title（参考訳）: あらゆるAUCで安全でない - 責任あるAIのための社会技術的災害から学んだ教訓
• Abstract要約: 高度に複雑なシステムにおけるリスクの社会技術的分析は、AIシステムの設計と評価のための明確な教訓を提供する。 よくある誤解は、人造カタストロフィは、複雑なシステムにおける本質的に予期せぬ相互作用から生じる、恐ろしい事故であるということである。 我々は、これらの未学習の教訓を学習することで、AIの開発と利用がメリットを享受できるいくつかの分野を概説する。
• 参考スコア（独自算出の注目度）: 3.5391463753982886
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: As automated decision-making and data-driven technologies pervade society and are used to manage consequential outcomes, understanding the technology's capabilities, limitations, and attendant risks in context requires analysis of full sociotechnical systems. Sociotechnical analysis of risks in highly complex systems provides clear lessons for the design and evaluation of AI systems, transcending a technical focus on reliable or "responsibly designed" components to understand risks at a systems level. Human-made catastrophes have been studied for decades because of the severity of these events: consider Chernobyl, Three Mile Island, Fukushima-Daiichi, Bhopal, the Challenger disaster. A common misconception is that these kinds of events are freak accidents, resulting from the inherently unforeseeable interactions in complex systems. Closer examination reveals that the risks and hazards were well-known beforehand but not acted upon due to social structural, political and economic factors. We outline several areas where the development and use of AI can benefit from learning these unlearned lessons: improved risk perception, communication, and analysis at the organizational level; traceability of requirements and responsibilities; and holistic approaches to responsibility and safety that include social and organizational dynamics as first-order engineering concerns. For each area, we offer concrete unlearned lessons and exemplify how they led to failure in prior accidents as well as examples of how these lessons remain unlearned for modern computing systems, particularly AI.
• Abstract（参考訳）: 自動意思決定とデータ駆動技術が社会に浸透し、連続した結果を管理するために使用されるため、コンテキストにおける技術能力、限界、および付随するリスクを理解するには、完全な社会技術システムの分析が必要である。 高度に複雑なシステムにおけるリスクの社会技術的分析は、AIシステムの設計と評価のための明確な教訓を提供する。 チェルノブイリ島, 三マイル島, 福島第一島, ブホバル島, チャレンジャー号災害など, 人為的な災害が何十年にもわたって研究されてきた。 よくある誤解は、このような出来事は、複雑なシステムにおける本質的に予期せぬ相互作用から生じる、恐ろしい事故であるということである。 より綿密な検査の結果、リスクとハザードは事前によく知られていたが、社会的構造的、政治的、経済的要因のために行動しなかったことが判明した。 リスク認識の改善、コミュニケーション、組織レベルでの分析、要求と責任のトレーサビリティ、第一級エンジニアリングの懸念として社会的・組織的ダイナミクスを含む責任と安全性に対する全体的アプローチなどです。 それぞれの分野では、具体的な未学習のレッスンを提供し、前回の事故で失敗に繋がった経緯を例示するとともに、現代のコンピューティングシステム、特にAIに対してこれらのレッスンが未学習のままである例を示します。

関連論文リスト

• Safety in Embodied AI: A Survey of Risks, Attacks, and Defenses [168.50301366360344]
  Embodied AI (Embodied AI) は、知覚、認知、計画、相互作用を、安全クリティカルな環境で機能するエージェントに統合する。 デジタルAIシステムとは異なり、エンボディエージェントは不確実な検知、不完全な知識、動的な人間とロボットの相互作用の下で行動しなければならない。 この調査は、エンボディされたAIにおける安全性研究の包括的なレビューを提供し、完全なエンボディされたパイプラインにわたる攻撃と防御を調査している。
  論文  参考訳（メタデータ） (2026-03-28T13:21:44Z)
• AI Deception: Risks, Dynamics, and Controls [153.71048309527225]
  このプロジェクトは、AI偽装分野の包括的で最新の概要を提供する。 我々は、動物の偽装の研究からシグナル伝達理論に基づく、AI偽装の正式な定義を同定する。 我々は,AI偽装研究の展望を,偽装発生と偽装処理の2つの主要な構成要素からなる偽装サイクルとして整理する。
  論文  参考訳（メタデータ） (2025-11-27T16:56:04Z)
• Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
  本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。 我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。 私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
  論文  参考訳（メタデータ） (2025-08-12T09:42:56Z)
• Open Problems in Machine Unlearning for AI Safety [61.43515658834902]
  特定の種類の知識を選択的に忘れたり、抑圧したりするマシンアンラーニングは、プライバシとデータ削除タスクの約束を示している。 本稿では,アンラーニングがAI安全性の包括的ソリューションとして機能することを防止するための重要な制約を特定する。
  論文  参考訳（メタデータ） (2025-01-09T03:59:10Z)
• From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems [2.226040060318401]
  システム理論プロセス分析(STPA)をAIの操作と開発プロセスの解析に応用する。 我々は、機械学習アルゴリズムに依存したシステムと、3つのケーススタディに焦点をあてる。 私たちは、AIシステムに適したいくつかの適応があるにもかかわらず、anAを実行するための重要な概念とステップが容易に適用できることに気付きました。
  論文  参考訳（メタデータ） (2024-10-29T20:43:18Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• An Overview of Catastrophic AI Risks [38.84933208563934]
  本稿では,破滅的なAIリスクの主な要因について概説し,その要因を4つのカテゴリに分類する。 個人やグループが意図的にAIを使用して危害を及ぼす悪用; 競争環境がアクターに安全でないAIを配置させたり、AIに制御を強制するAIレース。 組織的リスクは 人的要因と複雑なシステムが 破滅的な事故の 可能性を高めることを示しています 不正なAIは、人間よりもはるかにインテリジェントなエージェントを制御することの難しさを説明する。
  論文  参考訳（メタデータ） (2023-06-21T03:35:06Z)
• A taxonomic system for failure cause analysis of open source AI incidents [6.85316573653194]
  この研究は、AIID(AI Incident Database)におけるインシデントの集団に専門家の知識を適用する方法を示し、報告された障害や損害に寄与する潜在的な技術的因果関係を推測する。 本稿では,システム目標(ほぼ常に知られている)から手法/技術(多くの場合は理解できない),および関連するシステムの技術的障害原因(専門家分析の対象)まで,関連要因のカスケードをカバーする分類システムについて概説する。
  論文  参考訳（メタデータ） (2022-11-14T11:21:30Z)
• Liability regimes in the age of AI: a use-case driven analysis of the burden of proof [1.7510020208193926]
  人工知能(AI)を利用した新しいテクノロジーは、私たちの社会をより良く、破壊的に変革する可能性を秘めている。 しかし、安全と基本的権利の両方に潜在的なリスクをもたらす、これらの方法論の固有の特性に対する懸念が高まっている。 本稿では,これらの難易度を示す3つのケーススタディと,それらに到達するための方法論について述べる。
  論文  参考訳（メタデータ） (2022-11-03T13:55:36Z)
• X-Risk Analysis for AI Research [24.78742908726579]
  我々は、AI x-riskの分析方法のガイドを提供する。 まず、今日のシステムの安全性についてレビューする。 次に,今後のシステムの安全性に長期的影響を与える戦略について議論する。
  論文  参考訳（メタデータ） (2022-06-13T00:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。