論文の概要: Rethinking Autonomy: Preventing Failures in AI-Driven Software Engineering

• arxiv url: http://arxiv.org/abs/2508.11824v1
• Date: Fri, 15 Aug 2025 22:13:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.395204
• Title: Rethinking Autonomy: Preventing Failures in AI-Driven Software Engineering
• Title（参考訳）: 自律性を再考する - AI駆動ソフトウェアエンジニアリングの失敗を防ぐ
• Authors: Satyam Kumar Navneet, Joydeep Chandra,
• Abstract要約: SAFE-AI Frameworkは、安全性、監査可能性、フィードバック、説明可能性を強調した総合的なアプローチである。 我々は、リスク評価と監視を導くために、提案的、生成的、自律的、破壊的なアクションを分類する、AI行動の新しい分類法を導入する。 この記事では、EU AI ActやカナダのAIDAといった新たな規則に沿って、ソフトウェアエンジニアリングにおける責任あるAI統合のためのロードマップを提供する。
• 参考スコア（独自算出の注目度）: 1.6766200616088744
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The integration of Large Language Models (LLMs) into software engineering has revolutionized code generation, enabling unprecedented productivity through promptware and autonomous AI agents. However, this transformation introduces significant risks, including insecure code generation, hallucinated outputs, irreversible actions, and a lack of transparency and accountability. Incidents like the Replit database deletion underscore the urgent need for robust safety and governance mechanisms. This paper comprehensively analyzes the inherent challenges of LLM-assisted code generation, such as vulnerability inheritance, overtrust, misinterpretation, and the absence of standardized validation and rollback protocols. To address these, we propose the SAFE-AI Framework, a holistic approach emphasizing Safety, Auditability, Feedback, and Explainability. The framework integrates guardrails, sandboxing, runtime verification, risk-aware logging, human-in-the-loop systems, and explainable AI techniques to mitigate risks while fostering trust and compliance. We introduce a novel taxonomy of AI behaviors categorizing suggestive, generative, autonomous, and destructive actions to guide risk assessment and oversight. Additionally, we identify open problems, including the lack of standardized benchmarks for code specific hallucinations and autonomy levels, and propose future research directions for hybrid verification, semantic guardrails, and proactive governance tools. Through detailed comparisons of autonomy control, prompt engineering, explainability, and governance frameworks, this paper provides a roadmap for responsible AI integration in software engineering, aligning with emerging regulations like the EU AI Act and Canada's AIDA to ensure safe, transparent, and accountable AI-driven development.
• Abstract（参考訳）: 大規模言語モデル(LLM)をソフトウェア工学に統合することは、コード生成に革命をもたらし、プロンプトウェアや自律型AIエージェントを通じて前例のない生産性を実現する。 しかし、このトランスフォーメーションは、安全でないコード生成、幻覚的なアウトプット、不可逆的なアクション、透明性と説明責任の欠如など、重大なリスクをもたらす。 Replitデータベースの削除のようなインシデントは、堅牢な安全性とガバナンスメカニズムに対する緊急の必要性を浮き彫りにしている。 本稿では、脆弱性継承、過信、誤解釈、標準化されたバリデーションとロールバックプロトコルの欠如など、LLM支援コード生成の固有の課題を包括的に分析する。 これらの問題に対処するために,安全,聴取性,フィードバック,説明可能性を重視した総合的なアプローチであるSAFE-AIフレームワークを提案する。 このフレームワークは、ガードレール、サンドボックス、実行時検証、リスク対応ロギング、ヒューマン・イン・ザ・ループ・システム、そして説明可能なAI技術を統合して、信頼性とコンプライアンスを促進しながらリスクを軽減する。 我々は、リスク評価と監視を導くために、提案的、生成的、自律的、破壊的なアクションを分類する、AI行動の新しい分類法を導入する。 さらに、コード固有の幻覚と自律レベルのための標準ベンチマークの欠如など、オープンな問題を特定し、ハイブリッド検証、セマンティックガードレール、プロアクティブガバナンスツールの将来的な研究方向性を提案する。 自律性制御、迅速なエンジニアリング、説明可能性、およびガバナンスフレームワークの詳細な比較を通じて、本論文は、安全で透明で説明可能なAI駆動開発を保証するために、EU AI ActやカナダのAIDAといった新たな規制と整合した、ソフトウェアエンジニアリングにおける責任あるAI統合のためのロードマップを提供する。

関連論文リスト

• Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
  本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。 我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。 私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
  論文  参考訳（メタデータ） (2025-08-12T09:42:56Z)
• A New Perspective On AI Safety Through Control Theory Methodologies [16.51699616065134]
  AIは新たなレベルの自律性を達成することを約束するが、安全保証の欠如によって妨げられている。 本稿では、基礎となるデータ生成プロセスの学際的解釈に基づいて、AI安全性に関する新たな視点を概説する。 新たな視点は、データコントロールとも呼ばれ、AIエンジニアリングを刺激し、既存の安全分析と保証を活用することを目的としている。
  論文  参考訳（メタデータ） (2025-06-30T10:26:59Z)
• Engineering Risk-Aware, Security-by-Design Frameworks for Assurance of Large-Scale Autonomous AI Models [0.0]
  本稿では,大規模自律型AIシステムを対象とした企業レベルのリスク認識型セキュリティ・バイ・デザイン手法を提案する。 敵的および運用的ストレス下でのモデル動作の証明可能な保証を提供する統一パイプラインについて詳述する。 国家安全保障、オープンソースモデルガバナンス、産業自動化におけるケーススタディは、脆弱性とコンプライアンスのオーバーヘッドの計測可能な削減を実証している。
  論文  参考訳（メタデータ） (2025-05-09T20:14:53Z)
• Decoding the Black Box: Integrating Moral Imagination with Technical AI Governance [0.0]
  我々は、防衛、金融、医療、教育といった高度な領域に展開するAI技術を規制するために設計された包括的なフレームワークを開発する。 本手法では,厳密な技術的分析,定量的リスク評価,規範的評価を併用して,システム的脆弱性を暴露する。
  論文  参考訳（メタデータ） (2025-03-09T03:11:32Z)
• AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
  本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。 このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
  論文  参考訳（メタデータ） (2025-02-19T05:58:52Z)
• How Could Generative AI Support Compliance with the EU AI Act? A Review for Safe Automated Driving Perception [4.075971633195745]
  ディープニューラルネットワーク(DNN)は、自動運転車の知覚機能の中心となっている。 EU(EU)人工知能(AI)法は、AIシステムの厳格な規範と標準を確立することによって、これらの課題に対処することを目的としている。 本稿では、DNNに基づく知覚システムに関するEU AI法から生じる要件を要約し、ADにおける既存の生成AIアプリケーションを体系的に分類する。
  論文  参考訳（メタデータ） (2024-08-30T12:01:06Z)
• Trustworthy Artificial Intelligence Framework for Proactive Detection and Risk Explanation of Cyber Attacks in Smart Grid [11.122588110362706]
  分散型エネルギー資源(DER)の急速な成長は、グリッドコントローラに重大なサイバーセキュリティと信頼の課題をもたらす。 信頼性の高いスマートグリッドコントローラを実現するために,DERの制御・統計メッセージによって引き起こされるサイバーリスクを積極的に識別し,説明するための,信頼できる人工知能(AI)機構について検討する。
  論文  参考訳（メタデータ） (2023-06-12T02:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。