論文の概要: QSAF: A Novel Mitigation Framework for Cognitive Degradation in Agentic AI
- arxiv url: http://arxiv.org/abs/2507.15330v1
- Date: Mon, 21 Jul 2025 07:41:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:32.302157
- Title: QSAF: A Novel Mitigation Framework for Cognitive Degradation in Agentic AI
- Title(参考訳): QSAF:エージェントAIの認知的劣化を緩和する新しいフレームワーク
- Authors: Hammad Atta, Muhammad Zeeshan Baig, Yasir Mehmood, Nadeem Shahzad, Ken Huang, Muhammad Aziz Ul Haq, Muhammad Awais, Kamal Ahmed,
- Abstract要約: エージェントAIシステムにおける新たな脆弱性クラスとして認知劣化を導入する。
これらの障害は、メモリの飢餓、プランナーの再帰、コンテキストの洪水、出力の抑制によって内部的に発生する。
この種の障害に対処するため、我々はQorvex Security AI Framework for Behavioral & Cognitive Resilienceを紹介します。
- 参考スコア(独自算出の注目度): 2.505520948667288
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce Cognitive Degradation as a novel vulnerability class in agentic AI systems. Unlike traditional adversarial external threats such as prompt injection, these failures originate internally, arising from memory starvation, planner recursion, context flooding, and output suppression. These systemic weaknesses lead to silent agent drift, logic collapse, and persistent hallucinations over time. To address this class of failures, we introduce the Qorvex Security AI Framework for Behavioral & Cognitive Resilience (QSAF Domain 10), a lifecycle-aware defense framework defined by a six-stage cognitive degradation lifecycle. The framework includes seven runtime controls (QSAF-BC-001 to BC-007) that monitor agent subsystems in real time and trigger proactive mitigation through fallback routing, starvation detection, and memory integrity enforcement. Drawing from cognitive neuroscience, we map agentic architectures to human analogs, enabling early detection of fatigue, starvation, and role collapse. By introducing a formal lifecycle and real-time mitigation controls, this work establishes Cognitive Degradation as a critical new class of AI system vulnerability and proposes the first cross-platform defense model for resilient agentic behavior.
- Abstract(参考訳): エージェントAIシステムにおける新たな脆弱性クラスとして認知劣化を導入する。
プロンプトインジェクションのような従来の敵の外部脅威とは異なり、これらの障害は内部的に発生し、メモリの飢餓、プランナーの再帰、コンテキストの洪水、出力の抑制によって引き起こされる。
これらの体系的な弱点はサイレントエージェントの漂流、論理的崩壊、そして持続的な幻覚へと繋がる。
この種の障害に対処するために,6段階の認知劣化ライフサイクルで定義されたライフサイクル対応の防衛フレームワークであるQorvex Security AI Framework for Behavioral & Cognitive Resilience (QSAF Domain 10)を紹介する。
フレームワークには7つのランタイムコントロール(QSAF-BC-001からBC-007)が含まれており、エージェントサブシステムをリアルタイムで監視し、フォールバックルーティング、飢餓検出、メモリ完全性検証を通じてプロアクティブな緩和をトリガーする。
認知神経科学から、エージェントアーキテクチャを人間のアナログにマッピングし、疲労、飢餓、役割崩壊の早期発見を可能にします。
この研究は、正式なライフサイクルとリアルタイムの緩和制御を導入することで、認知劣化をAIシステムの脆弱性の重要な新しいクラスとして確立し、レジリエントなエージェント動作のための最初のクロスプラットフォーム防衛モデルを提案する。
関連論文リスト
- A Survey on Autonomy-Induced Security Risks in Large Model-Based Agents [45.53643260046778]
大規模言語モデル(LLM)の最近の進歩は、自律型AIエージェントの台頭を触媒している。
これらの大きなモデルエージェントは、静的推論システムからインタラクティブなメモリ拡張エンティティへのパラダイムシフトを示す。
論文 参考訳(メタデータ) (2025-06-30T13:34:34Z) - Avoiding Death through Fear Intrinsic Conditioning [48.07595141865156]
我々は、初期の扁桃体発達にインスパイアされた本質的な報酬関数を導入し、この本質的な報酬関数を、新しいメモリ拡張ニューラルネットワークアーキテクチャにより生成する。
この本質的なモチベーションが終末状態の探索を阻害し,動物に観察される恐怖条件と同様の回避行動をもたらすことを示す。
論文 参考訳(メタデータ) (2025-06-05T19:24:51Z) - DrunkAgent: Stealthy Memory Corruption in LLM-Powered Recommender Agents [28.294322726282896]
大規模言語モデル(LLM)を利用したエージェントは、パーソナライズされた振る舞いモデリングを実現するために、リコメンデータシステム(RS)でますます使われている。
本稿では,LSMを用いたリコメンデータエージェントにおけるメモリベースの脆弱性について,初めて体系的に検討する。
我々は,意味論的に意味のある敵の引き金を発生させる新しいブラックボックス攻撃フレームワークDrunkAgentを提案する。
論文 参考訳(メタデータ) (2025-03-31T07:35:40Z) - CRAFT: Characterizing and Root-Causing Fault Injection Threats at Pre-Silicon [4.83186491286234]
本研究は, プレシリコンレベルにおいて, 制御されたインジェクション攻撃を行うための包括的方法論を提案する。
駆動アプリケーションとして、クリティカルな誤分類のために、AI/MLアプリケーションにクロックグリッチアタックを使用します。
論文 参考訳(メタデータ) (2025-03-05T20:17:46Z) - Honest to a Fault: Root-Causing Fault Attacks with Pre-Silicon RISC Pipeline Characterization [4.83186491286234]
本研究の目的は、回路レベルからAI/MLアプリケーションソフトウェアへの障害伝播をトレースしながら、RISC-V命令セットとパイプラインステージ内の障害の影響を特徴づけ、診断することである。
この分析により、制御されたクロックグリッチパラメータによって新たな脆弱性を発見し、特にRISC-Vデコードステージをターゲットにした。
論文 参考訳(メタデータ) (2025-03-05T20:08:12Z) - AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。
従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。
エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
論文 参考訳(メタデータ) (2024-07-17T17:59:47Z) - Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic
Systems [67.01132165581667]
本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。
本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
論文 参考訳(メタデータ) (2023-11-13T21:20:17Z) - The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。
敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
論文 参考訳(メタデータ) (2021-06-26T10:50:07Z) - Adversarial vs behavioural-based defensive AI with joint, continual and
active learning: automated evaluation of robustness to deception, poisoning
and concept drift [62.997667081978825]
人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。
本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
論文 参考訳(メタデータ) (2020-01-13T13:54:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。