論文の概要: The Competence Shadow: Theory and Bounds of AI Assistance in Safety Engineering

• arxiv url: http://arxiv.org/abs/2603.25197v1
• Date: Thu, 26 Mar 2026 09:04:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.201666
• Title: The Competence Shadow: Theory and Bounds of AI Assistance in Safety Engineering
• Title（参考訳）: コンピテンスシャドー:安全工学におけるAI支援の理論と境界
• Authors: Umair Siddique,
• Abstract要約: 本稿では,安全分析におけるAI支援の形式的枠組みを開発する。 まず,安全工学がベンチマークによる評価に抵抗する理由を明らかにする。 本稿では,AIによる安全分析によって引き起こされる人間の推論の体系的絞り込みについて紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As AI assistants become integrated into safety engineering workflows for Physical AI systems, a critical question emerges: does AI assistance improve safety analysis quality, or introduce systematic blind spots that surface only through post-deployment incidents? This paper develops a formal framework for AI assistance in safety analysis. We first establish why safety engineering resists benchmark-driven evaluation: safety competence is irreducibly multidimensional, constrained by context-dependent correctness, inherent incompleteness, and legitimate expert disagreement. We formalize this through a five-dimensional competence framework capturing domain knowledge, standards expertise, operational experience, contextual understanding, and judgment. We introduce the competence shadow: the systematic narrowing of human reasoning induced by AI-generated safety analysis. The shadow is not what the AI presents, but what it prevents from being considered. We formalize four canonical human-AI collaboration structures and derive closed-form performance bounds, demonstrating that the competence shadow compounds multiplicatively to produce degradation far exceeding naive additive estimates. The central finding is that AI assistance in safety engineering is a collaboration design problem, not a software procurement decision. The same tool degrades or improves analysis quality depending entirely on how it is used. We derive non-degradation conditions for shadow-resistant workflows and call for a shift from tool qualification toward workflow qualification for trustworthy Physical AI.
• Abstract（参考訳）: AIアシスタントが物理AIシステムの安全エンジニアリングワークフローに統合されるにつれ、重要な疑問が浮かび上がっている。 本稿では,安全分析におけるAI支援の形式的枠組みを開発する。 安全工学がベンチマークによる評価に抵抗する理由を最初に明らかにする: 安全性の能力は多次元的であり、文脈依存の正確性、固有の不完全性、そして正当な専門家の不一致によって制約される。 ドメイン知識、標準の専門知識、運用経験、文脈理解、判断を捉える5次元の能力フレームワークを通じてこれを形式化します。 本稿では,AIによる安全分析によって引き起こされる人間の推論の体系的絞り込みについて紹介する。 影はAIが提示するものではなく、考慮されるのを防ぐものだ。 我々は、4つの標準的人間-AI協調構造を定式化し、クローズドフォーム性能境界を導出する。 中心的な発見は、安全工学におけるAI支援は、ソフトウェア調達決定ではなく、コラボレーション設計の問題であるということだ。 同じツールは、どのように使用されるかによって、分析品質を低下または改善します。 我々は、シャドウ抵抗ワークフローの非劣化条件を導出し、信頼できる物理AIのためのツール資格からワークフロー資格へのシフトを求める。

関連論文リスト

• Trustworthy Agentic AI Requires Deterministic Architectural Boundaries [2.378211191937908]
  現在のエージェントAIアーキテクチャは、高度な科学領域のセキュリティと要求と根本的に相容れない。 3つのメカニズムを通じてセキュリティを強制するトリニティ・ディフェンス・アーキテクチャを導入する。 疑わしい証明と決定論的調停がなければ、Lethal Trifecta'(信頼できない入力、特権データアクセス、外部アクション能力)は、認証セキュリティをエクスプロイト発見の問題にします。
  論文  参考訳（メタデータ） (2026-02-10T16:33:40Z)
• Incentive-Aware AI Safety via Strategic Resource Allocation: A Stackelberg Security Games Perspective [31.55000083809067]
  私たちは、ゲーム理論による抑止がAIを積極的に監視し、リスクを認識し、操作に対して回復力を与える方法を示します。 本稿では,(1)データ/フィードバック中毒に対するトレーニング時間監査,(2)制約されたレビュアーリソースによる事前デプロイ評価,(3)敵環境における堅牢なマルチモデル展開について報告する。
  論文  参考訳（メタデータ） (2026-02-06T23:20:26Z)
• Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
  本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。 我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。 私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
  論文  参考訳（メタデータ） (2025-08-12T09:42:56Z)
• Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
  計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。 ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。 我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
  論文  参考訳（メタデータ） (2025-02-18T02:26:50Z)
• Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
  我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。 我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
  論文  参考訳（メタデータ） (2024-07-31T17:59:24Z)
• The Digital Divide in Process Safety: Quantitative Risk Analysis of Human-AI Collaboration [3.9596068699962323]
  i) プロセス安全性におけるAIとは何か (ii) プロセス安全性におけるAIと人間の違いは何か (iii) プロセス安全性においてAIと人間はどのように協力するのか? 人間の信頼性の重要性は、通常AIの信頼性を高めるためにではなく、デジタル時代において強調されるべきである。
  論文  参考訳（メタデータ） (2023-05-29T03:39:48Z)
• Estimating the Brittleness of AI: Safety Integrity Levels and the Need for Testing Out-Of-Distribution Performance [0.0]
  AI(Test, Evaluation, Verification, and Validation for Artificial Intelligence)は、AI研究者が生み出した経済的、社会的報酬を制限することを脅かす課題である。 本稿では,いずれもDeep Neural Networksを定めていないことを論じる。
  論文  参考訳（メタデータ） (2020-09-02T03:33:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。