論文の概要: Securing Generative AI Agentic Workflows: Risks, Mitigation, and a Proposed Firewall Architecture
- arxiv url: http://arxiv.org/abs/2506.17266v1
- Date: Tue, 10 Jun 2025 07:36:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-29 09:28:14.841174
- Title: Securing Generative AI Agentic Workflows: Risks, Mitigation, and a Proposed Firewall Architecture
- Title（参考訳）: ジェネレーティブAIエージェントワークフローのセキュア化 - リスク、緩和、提案されたファイアウォールアーキテクチャ
- Authors: Sunil Kumar Jang Bahadur, Gopala Dhar,
- Abstract要約: Generative Artificial Intelligence(GenAI)は、大きな進歩を示すと同時に、新たなセキュリティ課題も導入している。
本稿では、データプライバシやモデル操作、エージェントの自律性やシステム統合に関わる問題など、GenAIエージェントに固有の重要なセキュリティ脆弱性について概説する。
提案されている"GenAI Security Firewall"アーキテクチャは、これらのシステムに対して包括的で、適応可能で、効率的な保護を提供するように設計されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative Artificial Intelligence (GenAI) presents significant advancements but also introduces novel security challenges, particularly within agentic workflows where AI agents operate autonomously. These risks escalate in multi-agent systems due to increased interaction complexity. This paper outlines critical security vulnerabilities inherent in GenAI agentic workflows, including data privacy breaches, model manipulation, and issues related to agent autonomy and system integration. It discusses key mitigation strategies such as data encryption, access control, prompt engineering, model monitoring, agent sandboxing, and security audits. Furthermore, it details a proposed "GenAI Security Firewall" architecture designed to provide comprehensive, adaptable, and efficient protection for these systems by integrating various security services and leveraging GenAI itself for enhanced defense. Addressing these security concerns is paramount for the responsible and safe deployment of this transformative technology.
- Abstract（参考訳）: Generative Artificial Intelligence(GenAI)は、大きな進歩を示すと同時に、特にAIエージェントが自律的に動作するエージェントワークフローにおいて、新たなセキュリティ課題も導入している。
これらのリスクは、相互作用の複雑さの増加により、マルチエージェントシステムでエスカレートする。
本稿では、データプライバシ侵害、モデル操作、エージェントの自律性やシステム統合に関連する問題など、GenAIエージェントワークフローに固有の重要なセキュリティ脆弱性について概説する。
データ暗号化、アクセス制御、プロンプトエンジニアリング、モデル監視、エージェントサンドボックス、セキュリティ監査といった重要な緩和戦略について論じている。
さらに、さまざまなセキュリティサービスを統合し、GenAI自体を防御強化に活用することにより、これらのシステムに対して包括的で適応性があり、効率的な保護を提供するように設計された"GenAI Security Firewall"アーキテクチャについて詳述する。
これらのセキュリティ上の懸念に対処することは、この変革的技術の責任と安全なデプロイにとって最重要である。
関連論文リスト
- SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。
行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。
また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
論文 参考訳（メタデータ） (2025-07-01T15:10:00Z) - LLM Agents Should Employ Security Principles [60.03651084139836]
本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。
AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
論文 参考訳（メタデータ） (2025-05-29T21:39:08Z) - Automating Safety Enhancement for LLM-based Agents with Synthetic Risk Scenarios [77.86600052899156]
LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。
完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。
AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
論文 参考訳（メタデータ） (2025-05-23T10:56:06Z) - Open Challenges in Multi-Agent Security: Towards Secure Systems of Interacting AI Agents [0.0]
分散AIエージェントはすぐにインターネットプラットフォーム間で対話し、従来のサイバーセキュリティやAI安全フレームワークを超えたセキュリティ上の課題を生み出す。
textbfmulti-agent Securityは、分散化されたAIエージェントのネットワークを、そのインタラクションを通じて出現または増幅する脅威に対して保護する、新たな分野である。
論文 参考訳（メタデータ） (2025-05-04T12:03:29Z) - Securing Agentic AI: A Comprehensive Threat Model and Mitigation Framework for Generative AI Agents [0.0]
本稿では,GenAIエージェントに特化した包括的脅威モデルを提案する。
研究は、9つの主要な脅威を特定し、5つの主要なドメインにまたがってそれらを整理する。
論文 参考訳（メタデータ） (2025-04-28T16:29:24Z) - Multi-Agent Risks from Advanced AI [90.74347101431474]
先進的なAIのマルチエージェントシステムは、新規で未発見のリスクを生じさせる。
エージェントのインセンティブに基づく3つの重要な障害モードと7つの重要なリスク要因を同定する。
各リスクのいくつかの重要な事例と、それらを緩和するための有望な方向性を強調します。
論文 参考訳（メタデータ） (2025-02-19T23:03:21Z) - Position: Mind the Gap-the Growing Disconnect Between Established Vulnerability Disclosure and AI Security [56.219994752894294]
我々は、AIセキュリティレポートに既存のプロセスを適用することは、AIシステムの特徴的な特徴に対する根本的な欠点のために失敗する運命にあると主張している。
これらの欠点に対処する私たちの提案に基づき、AIセキュリティレポートへのアプローチと、新たなAIパラダイムであるAIエージェントが、AIセキュリティインシデント報告の進展をさらに強化する方法について論じる。
論文 参考訳（メタデータ） (2024-12-19T13:50:26Z) - HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [76.42274173122328]
本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。
私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。
我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
論文 参考訳（メタデータ） (2024-09-24T19:47:21Z) - Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。
我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。
これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
論文 参考訳（メタデータ） (2024-09-03T10:14:51Z) - Security of AI Agents [5.468745160706382]
システムセキュリティの観点から、AIエージェントの潜在的な脆弱性を特定し、記述する。
本研究では,各脆弱性に対応する防御機構を設計と実験で導入し,その生存性を評価する。
本稿では、現在のAIエージェント開発におけるセキュリティ問題を文脈的に分析し、AIエージェントをより安全で信頼性の高いものにするための方法を解説する。
論文 参考訳（メタデータ） (2024-06-12T23:16:45Z) - AI Agents Under Threat: A Survey of Key Security Challenges and Future Pathways [10.16690494897609]
人工知能(AI)エージェント(英: Artificial Intelligence, AI)は、自律的にタスクを実行したり、事前に定義された目的やデータ入力に基づいて決定を行うソフトウェアエンティティである。
この調査は、AIエージェントが直面している新たなセキュリティ脅威を掘り下げ、これらを4つの重要な知識ギャップに分類する。
これらの脅威を体系的にレビューすることにより、この論文はAIエージェントの保護における進歩と既存の制限の両方を強調している。
論文 参考訳（メタデータ） (2024-06-04T01:22:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。