論文の概要: Rethinking Autonomy: Preventing Failures in AI-Driven Software Engineering
- arxiv url: http://arxiv.org/abs/2508.11824v1
- Date: Fri, 15 Aug 2025 22:13:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-19 14:49:10.395204
- Title: Rethinking Autonomy: Preventing Failures in AI-Driven Software Engineering
- Title（参考訳）: 自律性を再考する - AI駆動ソフトウェアエンジニアリングの失敗を防ぐ
- Authors: Satyam Kumar Navneet, Joydeep Chandra,
- Abstract要約: SAFE-AI Frameworkは、安全性、監査可能性、フィードバック、説明可能性を強調した総合的なアプローチである。
我々は、リスク評価と監視を導くために、提案的、生成的、自律的、破壊的なアクションを分類する、AI行動の新しい分類法を導入する。
この記事では、EU AI ActやカナダのAIDAといった新たな規則に沿って、ソフトウェアエンジニアリングにおける責任あるAI統合のためのロードマップを提供する。
- 参考スコア（独自算出の注目度）: 1.6766200616088744
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The integration of Large Language Models (LLMs) into software engineering has revolutionized code generation, enabling unprecedented productivity through promptware and autonomous AI agents. However, this transformation introduces significant risks, including insecure code generation, hallucinated outputs, irreversible actions, and a lack of transparency and accountability. Incidents like the Replit database deletion underscore the urgent need for robust safety and governance mechanisms. This paper comprehensively analyzes the inherent challenges of LLM-assisted code generation, such as vulnerability inheritance, overtrust, misinterpretation, and the absence of standardized validation and rollback protocols. To address these, we propose the SAFE-AI Framework, a holistic approach emphasizing Safety, Auditability, Feedback, and Explainability. The framework integrates guardrails, sandboxing, runtime verification, risk-aware logging, human-in-the-loop systems, and explainable AI techniques to mitigate risks while fostering trust and compliance. We introduce a novel taxonomy of AI behaviors categorizing suggestive, generative, autonomous, and destructive actions to guide risk assessment and oversight. Additionally, we identify open problems, including the lack of standardized benchmarks for code specific hallucinations and autonomy levels, and propose future research directions for hybrid verification, semantic guardrails, and proactive governance tools. Through detailed comparisons of autonomy control, prompt engineering, explainability, and governance frameworks, this paper provides a roadmap for responsible AI integration in software engineering, aligning with emerging regulations like the EU AI Act and Canada's AIDA to ensure safe, transparent, and accountable AI-driven development.
- Abstract（参考訳）: 大規模言語モデル(LLM)をソフトウェア工学に統合することは、コード生成に革命をもたらし、プロンプトウェアや自律型AIエージェントを通じて前例のない生産性を実現する。
しかし、このトランスフォーメーションは、安全でないコード生成、幻覚的なアウトプット、不可逆的なアクション、透明性と説明責任の欠如など、重大なリスクをもたらす。
Replitデータベースの削除のようなインシデントは、堅牢な安全性とガバナンスメカニズムに対する緊急の必要性を浮き彫りにしている。
本稿では、脆弱性継承、過信、誤解釈、標準化されたバリデーションとロールバックプロトコルの欠如など、LLM支援コード生成の固有の課題を包括的に分析する。
これらの問題に対処するために,安全,聴取性,フィードバック,説明可能性を重視した総合的なアプローチであるSAFE-AIフレームワークを提案する。
このフレームワークは、ガードレール、サンドボックス、実行時検証、リスク対応ロギング、ヒューマン・イン・ザ・ループ・システム、そして説明可能なAI技術を統合して、信頼性とコンプライアンスを促進しながらリスクを軽減する。
我々は、リスク評価と監視を導くために、提案的、生成的、自律的、破壊的なアクションを分類する、AI行動の新しい分類法を導入する。
さらに、コード固有の幻覚と自律レベルのための標準ベンチマークの欠如など、オープンな問題を特定し、ハイブリッド検証、セマンティックガードレール、プロアクティブガバナンスツールの将来的な研究方向性を提案する。
自律性制御、迅速なエンジニアリング、説明可能性、およびガバナンスフレームワークの詳細な比較を通じて、本論文は、安全で透明で説明可能なAI駆動開発を保証するために、EU AI ActやカナダのAIDAといった新たな規制と整合した、ソフトウェアエンジニアリングにおける責任あるAI統合のためのロードマップを提供する。
関連論文リスト
- Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report v1.5 [61.787178868669265]
この技術レポートは、サイバー犯罪、説得と操作、戦略上の詐欺、制御されていないAIR&D、自己複製の5つの重要な側面について、更新されきめ細かな評価を提示する。
この作業は、現在のAIフロンティアのリスクに対する理解を反映し、これらの課題を軽減するための集団行動を促します。
論文 参考訳（メタデータ） (2026-02-16T04:30:06Z) - Frontier AI Auditing: Toward Rigorous Third-Party Assessment of Safety and Security Practices at Leading AI Companies [57.521647436515785]
私たちはフロンティアAIの監査を、フロンティアAI開発者の安全とセキュリティに関する主張の厳格な第三者による検証として定義しています。
本稿では,AI保証レベル(AAL-1からAAL-4)について紹介する。
論文 参考訳（メタデータ） (2026-01-16T18:44:09Z) - AI Bill of Materials and Beyond: Systematizing Security Assurance through the AI Risk Scanning (AIRS) Framework [31.261980405052938]
人工知能(AI)システムの保証は、ソフトウェアサプライチェーンセキュリティ、敵機械学習、ガバナンスドキュメントに分散している。
本稿では,AI保証の運用を目的とした脅威モデルに基づくエビデンス発生フレームワークであるAI Risk Scanning(AIRS)フレームワークを紹介する。
論文 参考訳（メタデータ） (2025-11-16T16:10:38Z) - Governable AI: Provable Safety Under Extreme Threat Models [31.36879992618843]
我々は、従来の内部制約から外部に強制された構造コンプライアンスに移行するGAI(Governable AI)フレームワークを提案する。
GAIフレームワークは、シンプルで信頼性が高く、完全に決定論的で、強力で、柔軟性があり、汎用的なルール執行モジュール(REM)、ガバナンスルール、AIによる妥協やサブバージョンに対するエンドツーエンドの保護を提供する、統制可能なセキュアなスーパープラットフォーム(GSSP)で構成されている。
論文 参考訳（メタデータ） (2025-08-28T04:22:59Z) - Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。
我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。
私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
論文 参考訳（メタデータ） (2025-08-12T09:42:56Z) - A New Perspective On AI Safety Through Control Theory Methodologies [16.51699616065134]
AIは新たなレベルの自律性を達成することを約束するが、安全保証の欠如によって妨げられている。
本稿では、基礎となるデータ生成プロセスの学際的解釈に基づいて、AI安全性に関する新たな視点を概説する。
新たな視点は、データコントロールとも呼ばれ、AIエンジニアリングを刺激し、既存の安全分析と保証を活用することを目的としている。
論文 参考訳（メタデータ） (2025-06-30T10:26:59Z) - Engineering Risk-Aware, Security-by-Design Frameworks for Assurance of Large-Scale Autonomous AI Models [0.0]
本稿では,大規模自律型AIシステムを対象とした企業レベルのリスク認識型セキュリティ・バイ・デザイン手法を提案する。
敵的および運用的ストレス下でのモデル動作の証明可能な保証を提供する統一パイプラインについて詳述する。
国家安全保障、オープンソースモデルガバナンス、産業自動化におけるケーススタディは、脆弱性とコンプライアンスのオーバーヘッドの計測可能な削減を実証している。
論文 参考訳（メタデータ） (2025-05-09T20:14:53Z) - Decoding the Black Box: Integrating Moral Imagination with Technical AI Governance [0.0]
我々は、防衛、金融、医療、教育といった高度な領域に展開するAI技術を規制するために設計された包括的なフレームワークを開発する。
本手法では,厳密な技術的分析,定量的リスク評価,規範的評価を併用して,システム的脆弱性を暴露する。
論文 参考訳（メタデータ） (2025-03-09T03:11:32Z) - AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。
このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
論文 参考訳（メタデータ） (2025-02-19T05:58:52Z) - Position: Mind the Gap-the Growing Disconnect Between Established Vulnerability Disclosure and AI Security [56.219994752894294]
我々は、AIセキュリティレポートに既存のプロセスを適用することは、AIシステムの特徴的な特徴に対する根本的な欠点のために失敗する運命にあると主張している。
これらの欠点に対処する私たちの提案に基づき、AIセキュリティレポートへのアプローチと、新たなAIパラダイムであるAIエージェントが、AIセキュリティインシデント報告の進展をさらに強化する方法について論じる。
論文 参考訳（メタデータ） (2024-12-19T13:50:26Z) - How Could Generative AI Support Compliance with the EU AI Act? A Review for Safe Automated Driving Perception [4.075971633195745]
ディープニューラルネットワーク(DNN)は、自動運転車の知覚機能の中心となっている。
EU(EU)人工知能(AI)法は、AIシステムの厳格な規範と標準を確立することによって、これらの課題に対処することを目的としている。
本稿では、DNNに基づく知覚システムに関するEU AI法から生じる要件を要約し、ADにおける既存の生成AIアプリケーションを体系的に分類する。
論文 参考訳（メタデータ） (2024-08-30T12:01:06Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - Trustworthy Artificial Intelligence Framework for Proactive Detection
and Risk Explanation of Cyber Attacks in Smart Grid [11.122588110362706]
分散型エネルギー資源(DER)の急速な成長は、グリッドコントローラに重大なサイバーセキュリティと信頼の課題をもたらす。
信頼性の高いスマートグリッドコントローラを実現するために,DERの制御・統計メッセージによって引き起こされるサイバーリスクを積極的に識別し,説明するための,信頼できる人工知能(AI)機構について検討する。
論文 参考訳（メタデータ） (2023-06-12T02:28:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。