論文の概要: From Frontier to Shadow AI: A Simmering Threat to Assurance and Security in Critical Infrastructure
- arxiv url: http://arxiv.org/abs/2606.00088v1
- Date: Sat, 23 May 2026 07:21:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 18:57:25.274142
- Title: From Frontier to Shadow AI: A Simmering Threat to Assurance and Security in Critical Infrastructure
- Title（参考訳）: FrontierからシャドウAIへ - クリティカルインフラストラクチャにおける保証とセキュリティへの脅威
- Abstract要約: 我々は、重要なインフラ環境におけるシャドウAIに関する最初の実証的研究を提示する。
私たちは、AIが実際にどのように現れるか、既存の技術とガバナンスのコントロールとどのように相互作用するか、そして結果として生じるセキュリティ、保証、コンプライアンスのリスクを分析します。
- 参考スコア（独自算出の注目度）: 8.167474882691755
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier AI systems, including large language models and emerging agentic AI tools, offer significant operational benefits but present unique challenges to critical infrastructure (CI) environments due to their non-deterministic and emergent properties. While formal adoption is inherently cautious and tightly controlled due to strict regulatory oversight, widespread accessibility has catalysed shadow AI: the unsanctioned use of frontier AI outside established organisational controls. In CI settings, shadow AI bypasses established assurance and oversight mechanisms, amplifying risks to data protection, decision reliability, and regulatory compliance, with potential consequences for essential service delivery. We present the first empirical study of shadow AI in CI environments, characterising it as a systemic socio-technical condition of assurance erosion. Drawing on semi-structured interviews with senior executives and functional leaders across 27 Australian CI organisations (Communications, Energy, and Water and Sewerage sectors), we analyse how shadow AI manifests in practice, how it interacts with existing technical and governance controls, and the resulting security, assurance, and compliance risks. We develop an empirically derived threat model identifying three primary mechanisms of security degradation: (i) boundary bypass, where data flows circumvent established perimeters; (ii) unassessed capability expansion, where embedded AI features introduce latent risks; and (iii) loss of observability via governance circumvention, undermining forensic auditability and least-privilege enforcement. Our findings demonstrate that shadow AI introduces unmanaged risks that fundamentally challenge existing security and compliance frameworks, necessitating tailored, pathway-aligned governance and control strategies.
- Abstract（参考訳）: 大きな言語モデルや新たなエージェントAIツールを含むフロンティアAIシステムは、重要な運用上のメリットを提供するが、決定論的で創発的な性質のため、重要なインフラストラクチャ(CI)環境に固有の課題を提供する。
正式な採用は、厳格な規制監督のために本質的に慎重で厳格に管理されているが、幅広いアクセシビリティーがシャドーAIを触媒している。
CI設定では、シャドウAIバイパスが確立された保証と監視メカニズムを回避し、データ保護、決定信頼性、規制コンプライアンスに対するリスクを増幅し、不可欠なサービスデリバリに潜在的な結果をもたらす。
本研究は,CI環境におけるシャドウAIの実証的研究であり,アシュアランス・エロージョンの社会技術的条件として特徴づけるものである。
オーストラリアの27のCI組織(コミュニケーション、エネルギー、水と下水道部門)の上級幹部や機能的リーダとの半構造化されたインタビューに基づいて、影AIが実際にどのように現れるか、既存の技術とガバナンスのコントロールとどのように相互作用するか、そして結果として生じるセキュリティ、保証、コンプライアンスのリスクを分析します。
我々は、セキュリティ劣化の3つの主要なメカニズムを特定する、経験的に導かれた脅威モデルを開発する。
i) データフローが確立した周縁を回避できる境界バイパス
(ii)組み込みAI機能が潜伏リスクをもたらす未評価能力拡張
三 監督の回避による可観測性の喪失、法定監査の弱体化及び非民営化
私たちの調査結果は、シャドーAIが既存のセキュリティおよびコンプライアンスフレームワークに根本的に挑戦する、管理されていないリスクを導入し、適切な、経路に整合したガバナンスとコントロール戦略を必要としていることを示しています。
関連論文リスト
- AI Deployment Accountability Engineering: A Vision for Accountable AI in Safety-Critical Socio-Technical Systems [14.280538199149634]
このビジョンペーパーはAI Deployment Accountability Engineering (ADAE)を紹介する。
ADAEは、デプロイされたAIシステムに対して測定可能で、連続的で、実行可能な説明責任を確立することを目的とした、AIエンジニアリングのサブカテゴリである。
我々は,コンテキスト依存型障害モードの構造化発見,プライバシ保護型説明責任測定,エージェントAIのシステムレベルのリスク分析,技術的障害の運用的,制度的リスクへの変換という,4つの相互接続された柱を中心に構築された研究課題を具体的に述べる。
論文 参考訳（メタデータ） (2026-09-13T15:18:41Z) - The AI Resilience Gap: Bringing Artificial Intelligence Inside the Operational Resilience Perimeter [0.0]
AIの採用は、信頼できるAIスタックとは異なる、かつ不十分にカバーされたレジリエンス義務を生み出します。
我々は、運用のレジリエンス周辺にAI依存関係をもたらすための、レシシックな方法であるAI Resilience Frameworkを提案する。
論文 参考訳（メタデータ） (2026-07-08T12:54:11Z) - Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。
この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。
各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
論文 参考訳（メタデータ） (2026-05-17T10:26:37Z) - Aegis: Towards Governance, Integrity, and Security of AI Voice Agents [52.7512082818639]
音声エージェントのガバナンス,整合性,セキュリティのためのフレームワークであるAegisを提案する。
我々は,銀行コールセンタ,ITサポート,ロジスティクスにおけるケーススタディを通じて,この枠組みを評価する。
モデルファミリ間の系統的な差異を観察し,より感受性の高いオープンウェイトモデルを示した。
論文 参考訳（メタデータ） (2026-02-07T05:51:36Z) - Frontier AI Auditing: Toward Rigorous Third-Party Assessment of Safety and Security Practices at Leading AI Companies [57.521647436515785]
私たちはフロンティアAIの監査を、フロンティアAI開発者の安全とセキュリティに関する主張の厳格な第三者による検証として定義しています。
本稿では,AI保証レベル(AAL-1からAAL-4)について紹介する。
論文 参考訳（メタデータ） (2026-01-16T18:44:09Z) - STAMP/STPA informed characterization of Factors Leading to Loss of Control in AI Systems [0.0]
コントロールの喪失を議論し、特徴付けるための、より構造化されたフレームワークの提供に着手しました。
我々は、この枠組みを用いて、AIを含む社会技術システムの安全な運用に責任を持つ人々を支援し、制御の喪失につながる因果的要因を特定する。
論文 参考訳（メタデータ） (2025-12-19T14:07:32Z) - AI Deception: Risks, Dynamics, and Controls [153.71048309527225]
このプロジェクトは、AI偽装分野の包括的で最新の概要を提供する。
我々は、動物の偽装の研究からシグナル伝達理論に基づく、AI偽装の正式な定義を同定する。
我々は,AI偽装研究の展望を,偽装発生と偽装処理の2つの主要な構成要素からなる偽装サイクルとして整理する。
論文 参考訳（メタデータ） (2025-11-27T16:56:04Z) - Governable AI: Provable Safety Under Extreme Threat Models [31.36879992618843]
我々は、従来の内部制約から外部に強制された構造コンプライアンスに移行するGAI(Governable AI)フレームワークを提案する。
GAIフレームワークは、シンプルで信頼性が高く、完全に決定論的で、強力で、柔軟性があり、汎用的なルール執行モジュール(REM)、ガバナンスルール、AIによる妥協やサブバージョンに対するエンドツーエンドの保護を提供する、統制可能なセキュアなスーパープラットフォーム(GSSP)で構成されている。
論文 参考訳（メタデータ） (2025-08-28T04:22:59Z) - Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。
我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。
私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
論文 参考訳（メタデータ） (2025-08-12T09:42:56Z) - Position: Mind the Gap-the Growing Disconnect Between Established Vulnerability Disclosure and AI Security [56.219994752894294]
我々は、AIセキュリティレポートに既存のプロセスを適用することは、AIシステムの特徴的な特徴に対する根本的な欠点のために失敗する運命にあると主張している。
これらの欠点に対処する私たちの提案に基づき、AIセキュリティレポートへのアプローチと、新たなAIパラダイムであるAIエージェントが、AIセキュリティインシデント報告の進展をさらに強化する方法について論じる。
論文 参考訳（メタデータ） (2024-12-19T13:50:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。