論文の概要: PerMIT: Securing Persistent Memory for LLM Agents via Machine-Checked Integrity Theorems and Scalable Community Trust
- arxiv url: http://arxiv.org/abs/2610.28987v1
- Date: Tue, 20 Oct 2026 23:31:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.16005
- Title: PerMIT: Securing Persistent Memory for LLM Agents via Machine-Checked Integrity Theorems and Scalable Community Trust
- Title(参考訳): PerMIT: マシン型統合理論とスケーラブルなコミュニティトラストによるLLMエージェントの永続メモリ確保
- Abstract要約: PerMITは、証明可能な完全性を保証するメモリアーキテクチャである。
トロイジャン・ヒッポでは、PerMITは自己検証による攻撃の成功をゼロに記録している。
2ドル(約2万2000円)で、最大90人の自律型エージェントのコミュニティは、共有知識ベースを構築するためにPerMITを使用している。
- 参考スコア(独自算出の注目度): 5.2291817944004695
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Persistent memory is a largely undefended surface for injection and poisoning, and the same risk limits memory sharing among agents. We present PerMIT, a memory architecture with provable integrity guarantees under an explicit trust assumption: only user-typed inputs and values confirmed at a gate are trusted. PerMIT mediates the release and use of untrusted environment-derived values through a finite memory interface, while preserving agent-driven multi-turn planning and tool choice. Over this finite interface, we prove two integrity theorems that are also machine-checked in Lean 4, which together ensure that environment-derived memory reaches a sensitive action only if confirmed at the gate and influences the agent's behavior only through what the gate displays. Every attack in our threat model thereby reduces to a single auditable decision, which a human, an LLM verifier, or both can make in practice. On Trojan Hippo, PerMIT records zero observed attack success with self-verification and lightweight verifiers. Because each confirmation is a logged verdict on exact content, endorsements accumulate across users, and sufficiently endorsed items become community-confirmed with no further verification required. Under explicit assumptions, we prove and corroborate in simulation a co-scaling property: as the community grows, the risks of promoting poison and of wrongly evicting benign knowledge fall, while per-user verification effort does not rise. On $τ^2$-bench, communities of up to 90 autonomous agents use PerMIT to build shared knowledge bases with no direct memory injection promoted, and the resulting knowledge significantly improves new agents on held-out tasks, suggesting a path toward agents that safely self-improve at test time.
- Abstract(参考訳): 永続的メモリは、ほとんど防御されていない射出と中毒の表面であり、同じリスクでエージェント間のメモリ共有が制限される。
本稿では,証明可能な信頼性保証を備えたメモリアーキテクチャであるPerMITについて,ゲートで確認されたユーザ型入力と値のみを信頼する。
PerMITは、エージェント駆動のマルチターン計画とツールの選択を保ちながら、有限メモリインタフェースを通じて信頼できない環境由来の値のリリースと使用を仲介する。
この有限インターフェース上では、Lean 4でも機械チェックされている2つの整合性定理を証明し、ゲートで確認された場合にのみ環境由来のメモリが敏感な動作に達することを保証し、ゲートが表示するものを通してエージェントの振る舞いに影響を与える。
脅威モデルにおける全ての攻撃は、人間、LLM検証者、またはその両方が実際に行うことのできる単一の監査可能な決定に還元される。
トロイジャン・ヒッポでは、PerMITは自己検証と軽量検証器による攻撃成功をゼロに記録している。
各確認は、正確なコンテンツに関するログ付き判定であるので、ユーザ間で支持が蓄積され、十分な支持されたアイテムは、さらなる検証を必要とせずに、コミュニティに確認される。
コミュニティが成長するにつれて、毒の促進のリスクや、悪質な知識を逃がすリスクが低下する一方で、ユーザ毎の検証努力は増加しない。
τ^2$-benchでは、最大90の自律エージェントのコミュニティがPerMITを使用して、直接メモリ注入を促進せずに共有知識ベースを構築し、その結果の知識は保持タスクにおける新しいエージェントを大幅に改善し、テスト時に安全に自己改善するエージェントへの道を示唆している。
関連論文リスト
- CredLeakBench: Evaluating Credential Leakage and Recovery in LLM Agents [58.28055202832338]
言語モデルエージェントは日々のデジタル雑用を自動化するためにますますデプロイされている。
この機能は、フィッシングに機密情報を公開する。
CredLeak-Benchは、ヒューマンタスクの効果的かつセキュアなエージェントの自動化を評価するために設計されたベンチマークである。
論文 参考訳(メタデータ) (2026-10-06T05:07:33Z) - Zero-Knowledge Predicate Proofs Between AI Agents: A Measured, Cross-Protocol Gateway and the Source-Integrity Gap [0.0]
マルチエージェントAIプラットフォームは、ステージングからプロダクションへ素早く移行するが、エージェントが信頼を確立する方法はまだ初歩的だ。
提案から実行システムまで,エージェント間での検証可能なデータ最小化を行う。
32ビットのしきい値述語は6.2msで証明され、608バイトのBulletproofs証明で1.0msで検証される。
論文 参考訳(メタデータ) (2026-08-30T23:16:17Z) - Trustworthy RAG: An Evaluation Agent for Detecting Misinformation and Knowledge Poisoning in Generative AI Systems [1.7327102304628392]
Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) を外部知識で出力する。
本稿では,自然言語推論(NLI)の事実検証,関連性重み付けによる5信号毒素検出,信頼指数T = 0.4 F + 0.35 C + 0.25 (1 - P) を組み合わせた評価エージェントを提案する。
Llama 3.3 70BのTrathfulQAでは、エージェントは91%の精度と100%の精度に達し、インストラクションインジェクションで100%リコールされる。
論文 参考訳(メタデータ) (2026-08-21T13:42:41Z) - SafeCommit: Certifying When Memory-Grounded Agents May Safely Act [0.10742675209112619]
エージェント推論と外部実行の間のリスク制御層であるSafeCommitを紹介する。
コンフォメーションアクション証明書が保持されているすべての世界において、アクションが安全であることを示す場合にのみ、サイドエフェクトフルアクションを許可する。
依存性のない制御シミュレータは、安全ユーティリティのトレードオフを示し、報告されたすべての結果を1つのコマンドで再現する。
論文 参考訳(メタデータ) (2026-08-04T23:44:35Z) - When Collaboration Becomes a Trigger: Collective Evidence-Threshold Backdoors in Multi-Agent Systems [57.450132281381066]
ピアエビデンスが単一のメッセージによって決定されるのではなく、隠れたしきい値に達すると、バックドアの動作が起動される。
我々は,MASとBundary-Conditioned Backdoor Injection(BCBI)のための集合的エビデンス-ホールドバックドアパラダイムを導入する。
クリーンな通信力学を学習し,異常なエージェント更新を隔離する,クリーンな唯一の潜時防御であるLATTEを提案する。
論文 参考訳(メタデータ) (2026-08-02T08:38:44Z) - MemEvoBench: Benchmarking Memory MisEvolution in LLM Agents [78.95081012334116]
永続メモリを持つ大規模言語モデル(LLM)は、相互作用の継続性とパーソナライゼーションを高めるが、新たな安全性リスクをもたらす。
汚染または偏りのある記憶蓄積は、異常な作用を引き起こす可能性がある。
MemeEvoBenchは、LLMエージェントのメモリ安全性を評価する最初のベンチマークである。
論文 参考訳(メタデータ) (2026-04-17T07:29:52Z) - VerificAgent: Domain-Specific Memory Verification for Scalable Oversight of Aligned Computer-Use Agents [0.17812428873698402]
未確認の記憶は、ユーザの意図や安全性の制約から逸脱することがある。
CUAのためのスケーラブルな監視フレームワークであるVerificAgentを紹介する。
VerificAgentはタスクの信頼性を改善し、幻覚による障害を低減し、解釈可能な監査可能なガイダンスを保持する。
論文 参考訳(メタデータ) (2025-06-03T07:25:49Z) - Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。
RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。
これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。
我々は、無害な」知識基盤の著作権保護の名称を提案する。
論文 参考訳(メタデータ) (2025-02-10T09:15:56Z) - AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。
従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。
エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
論文 参考訳(メタデータ) (2024-07-17T17:59:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。