論文の概要: On AI Safety and Security Technical Debt in Engineering AI-Enabled Systems
- arxiv url: http://arxiv.org/abs/2607.23365v1
- Date: Sat, 25 Jul 2026 21:15:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.074145
- Title: On AI Safety and Security Technical Debt in Engineering AI-Enabled Systems
- Title（参考訳）: 工学的AI実現システムにおけるAIの安全性とセキュリティ技術負債について
- Abstract要約: AIテクニカル負債(AI Technical Debts, AITD)は、データガバナンス、モデル実装、アルゴリズム設計、アーキテクチャ決定、運用プロセス、ドキュメントプラクティス、テストの妥当性にまたがる根本原因から生まれる。
従来の技術的負債とは異なり、多くのAITDは遅延し、密結合したAIパイプラインに伝播し、メンテナンス上の問題、信頼性の低下、安全性やセキュリティ上のリスクの増大につながる。
我々は、AITD分類、品質、リスク影響を結合する統合フレームワークであるAITD-MAPを導入し、リスク対応AIエンジニアリングのための統一構造に緩和戦略を導入する。
- 参考スコア（独自算出の注目度）: 11.878368077620337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial intelligence (AI) systems are increasingly deployed in high-stakes domains such as healthcare, autonomous driving, finance, and education. While these systems offer powerful data-driven and adaptive capabilities, their complexity, rapid evolution, and dependence on dynamic data pipelines introduce new forms of engineering liability collectively referred to as AI Technical Debts (AITDs). AITDs arise from root causes spanning data governance, model implementation, algorithm design, architectural decisions, operational processes, documentation practices, and testing adequacy. Unlike conventional technical debt, many AITDs are latent and propagate across tightly coupled AI pipelines, leading to maintenance challenges, reliability degradation, and heightened safety or security risks. Guided by the principles of AI Trust, Risk, and Security Management (AI TRiSM), this study reinterprets technical debt through the interconnected dimensions of trustworthiness, focusing on AI safety and security technical debts. We conduct a systematic review of 60 primary studies and identify 31 distinct types of AITD, which are organized into a root-cause-oriented taxonomy comprising seven classes. The analysis examines how these debts map to 18 trust-related concerns, including 6 safety hazards and 12 security vulnerabilities. To support mitigation, the review synthesizes 34 actionable guidelines (8 safety and 26 security) targeting the prevention, detection, and reduction of AITDs across the AI lifecycle. Building on these findings, we introduce AITD-MAP, an integrated framework that connects the AITD taxonomy, quality and risk impacts, and mitigation strategies into a unified structure for risk-aware AI engineering. The framework aims to assist AI software engineers in making AI safety and security technical debts visible, understanding their root causes, and mitigating their presence.
- Abstract（参考訳）: 人工知能(AI)システムは、医療、自動運転、金融、教育といった高度な分野にますます導入されている。
これらのシステムは強力なデータ駆動型適応機能を提供しますが、その複雑さ、迅速な進化、動的データパイプラインへの依存は、AI Technical Debts(AITDs)と呼ばれる新しい形式の工学的負債を導入します。
AITDは、データガバナンス、モデル実装、アルゴリズム設計、アーキテクチャ決定、運用プロセス、ドキュメントのプラクティス、テストの妥当性にまたがる根本原因から生まれる。
従来の技術的負債とは異なり、多くのAITDは遅延し、密結合したAIパイプラインに伝播し、メンテナンス上の問題、信頼性の低下、安全性やセキュリティ上のリスクの増大につながる。
この研究はAI Trust, Risk, and Security Management (AI TRiSM)の原則によって導かれ、AIの安全性とセキュリティの技術的負債に焦点を当て、相互に相互に相互に相互に相互に相互に相互に相互に相互に相互に相互に技術的負債を解釈する。
我々は60の初等研究を体系的に検討し、7つのクラスからなる根本原因分類に分類された31種類のAITDを同定した。
この分析は、これらの負債が6つの安全リスクと12のセキュリティ脆弱性を含む18の信頼に関する懸念にどのように対応しているかを検証している。
緩和を支援するために、AIライフサイクル全体にわたるAITDの防止、検出、削減を目的とした34の行動可能なガイドライン(8つの安全性と26のセキュリティ)を合成する。
これらの知見に基づいて、AITD分類、品質およびリスク影響を結合する統合フレームワークであるAITD-MAPを導入し、リスク認識AIエンジニアリングのための統一された構造へと緩和する。
このフレームワークは、AIの安全性とセキュリティの技術的負債を可視化し、その根本原因を理解し、その存在を緩和する、AIソフトウェアエンジニアを支援することを目的としている。
関連論文リスト
- AI Deployment Accountability Engineering: A Vision for Accountable AI in Safety-Critical Socio-Technical Systems [14.280538199149634]
このビジョンペーパーはAI Deployment Accountability Engineering (ADAE)を紹介する。
ADAEは、デプロイされたAIシステムに対して測定可能で、連続的で、実行可能な説明責任を確立することを目的とした、AIエンジニアリングのサブカテゴリである。
我々は,コンテキスト依存型障害モードの構造化発見,プライバシ保護型説明責任測定,エージェントAIのシステムレベルのリスク分析,技術的障害の運用的,制度的リスクへの変換という,4つの相互接続された柱を中心に構築された研究課題を具体的に述べる。
論文 参考訳（メタデータ） (2026-09-13T15:18:41Z) - Safety in Embodied AI: A Survey of Risks, Attacks, and Defenses [168.50301366360344]
Embodied AI (Embodied AI) は、知覚、認知、計画、相互作用を、安全クリティカルな環境で機能するエージェントに統合する。
デジタルAIシステムとは異なり、エンボディエージェントは不確実な検知、不完全な知識、動的な人間とロボットの相互作用の下で行動しなければならない。
この調査は、エンボディされたAIにおける安全性研究の包括的なレビューを提供し、完全なエンボディされたパイプラインにわたる攻撃と防御を調査している。
論文 参考訳（メタデータ） (2026-03-28T13:21:44Z) - ForesightSafety Bench: A Frontier Risk Evaluation and Governance Framework towards Safe AI [38.70363180741332]
ForesightSafety Bench"は、最先端AIモデルの安全性評価フレームワークである。
このベンチマークでは、数万の構造化されたリスクデータポイントと評価結果が蓄積されている。
このベンチマークに基づいて,20以上の主流大規模モデルの系統的評価と詳細な解析を行う。
論文 参考訳（メタデータ） (2026-02-15T13:12:44Z) - Securing Agentic AI Systems -- A Multilayer Security Framework [0.0]
エージェント人工知能(AI)システムのセキュア化には、自律性、意思決定、適応行動によってもたらされる複雑なサイバーリスクに対処する必要がある。
既存のAIセキュリティフレームワークは、これらの課題やエージェントAIのユニークなニュアンスに適切に対処していない。
本研究は,エージェントAIシステムに特化して設計されたライフサイクル対応セキュリティフレームワークを開発する。
論文 参考訳（メタデータ） (2025-12-19T20:22:25Z) - Responsible AI Technical Report [2.706528024660027]
KTは、AIサービスの安全性と信頼性を保証するために、Responsible AI (RAI)アセスメント方法論とリスク軽減技術を開発した。
我々は、KTのAIリスク分類に基づくモデル安全性とロバスト性を検証する信頼性の高い評価手法を提案する。
また、特定されたAIリスクを管理し緩和するための実用的なツールも提供します。
論文 参考訳（メタデータ） (2025-09-24T12:26:33Z) - Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。
我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。
私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
論文 参考訳（メタデータ） (2025-08-12T09:42:56Z) - Position: Mind the Gap-the Growing Disconnect Between Established Vulnerability Disclosure and AI Security [56.219994752894294]
我々は、AIセキュリティレポートに既存のプロセスを適用することは、AIシステムの特徴的な特徴に対する根本的な欠点のために失敗する運命にあると主張している。
これらの欠点に対処する私たちの提案に基づき、AIセキュリティレポートへのアプローチと、新たなAIパラダイムであるAIエージェントが、AIセキュリティインシデント報告の進展をさらに強化する方法について論じる。
論文 参考訳（メタデータ） (2024-12-19T13:50:26Z) - Landscape of AI safety concerns -- A methodology to support safety assurance for AI-based autonomous systems [0.0]
AIは重要な技術として登場し、さまざまなアプリケーションにまたがる進歩を加速している。
AIコンポーネントを組み込んだシステムの安全性を確保するという課題は、極めて重要である。
本稿では,AIシステムにおける安全保証事例作成を支援する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-12-18T16:38:16Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する
AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。
本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
論文 参考訳（メタデータ） (2024-02-21T08:29:42Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。