論文の概要: Proof-of-Guardrail in AI Agents and What (Not) to Trust from It
- arxiv url: http://arxiv.org/abs/2603.05786v1
- Date: Fri, 06 Mar 2026 00:34:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-09 13:17:44.790985
- Title: Proof-of-Guardrail in AI Agents and What (Not) to Trust from It
- Title（参考訳）: AIエージェントのガードレールの証明とそれからの信頼
- Abstract要約: 開発者が特定のオープンソースガードレールの後に応答が生成されることの暗号的証明を行えるようにするシステムである「ガードレールの証明」を提案する。
我々は,OpenClawエージェントのガードレールを実装し,遅延オーバーヘッドとデプロイメントコストを評価する。
- 参考スコア（独自算出の注目度）: 26.03695321395865
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As AI agents become widely deployed as online services, users often rely on an agent developer's claim about how safety is enforced, which introduces a threat where safety measures are falsely advertised. To address the threat, we propose proof-of-guardrail, a system that enables developers to provide cryptographic proof that a response is generated after a specific open-source guardrail. To generate proof, the developer runs the agent and guardrail inside a Trusted Execution Environment (TEE), which produces a TEE-signed attestation of guardrail code execution verifiable by any user offline. We implement proof-of-guardrail for OpenClaw agents and evaluate latency overhead and deployment cost. Proof-of-guardrail ensures integrity of guardrail execution while keeping the developer's agent private, but we also highlight a risk of deception about safety, for example, when malicious developers actively jailbreak the guardrail. Code and demo video: https://github.com/SaharaLabsAI/Verifiable-ClawGuard
- Abstract（参考訳）: AIエージェントがオンラインサービスとして広くデプロイされるようになると、ユーザはしばしば、安全がいかに強制されているかというエージェント開発者の主張に依存します。
この脅威に対処するため,開発者が特定のオープンソースガードレールの後に応答が生成されることの暗号的証明を行うことのできる,ガードレールの証明システムを提案する。
証明を生成するため、開発者はTrusted Execution Environment (TEE)内でエージェントとガードレールを実行する。
我々は,OpenClawエージェントのガードレールを実装し,遅延オーバヘッドとデプロイメントコストを評価する。
Proof-of-guardrailは、ディベロッパのエージェントをプライベートに保ちながらガードレールの実行の完全性を保証するが、悪意のある開発者がガードレールを積極的にジェイルブレイクする場合など、安全を欺くリスクも強調する。
コードとデモビデオ:https://github.com/SaharaLabsAI/Verifiable-ClawGuard
関連論文リスト
- HazardAuditor: From Executable Threats to Safer Computer-Use Agents [50.06351661912873]
既存のガードモデルは静的なプロンプトと応答をターゲットとしている。
既存の安全プラットフォームは、正規化された監督ではなく、ガードモデルで学ぶ必要がある評価判断を生成する。
両ギャップを埋める実行基盤フレームワークであるHazardAuditorを紹介します。
論文 参考訳（メタデータ） (2026-09-14T07:09:33Z) - DreamGuard: Efficient Runtime Guardrail for LLM Agents via Risk-Aware World Model [14.643297355742185]
大規模言語モデル (LLM) エージェントは現実世界のシステムと対話しやすくなっている。
安全でないアクションは、外部の状態、ユーザデータ、下流サービスに不可逆的な結果をもたらす可能性がある。
本研究では,リスク認識型世界モデルを中心に構築されたLDMエージェントのプロアクティブガードレールであるDreamGuardを提案する。
論文 参考訳（メタデータ） (2026-08-06T07:37:49Z) - From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents [35.39244077703096]
ガードレールは通常、実行前に提案されたアクションや入力を評価することでエージェントを保護する。
既存のガードレールは、しばしばタスク全体を安全でないものとして一様にフラグを立て、脅威を阻止するが、良心的な部分を犠牲にする。
本稿では,ガードレール生成した言語フィードバックを誘導信号として活用し,エージェントを良質な目的に合わせるためのガードレール統合エージェントフレームワークTRIADを紹介する。
論文 参考訳（メタデータ） (2026-06-04T07:34:35Z) - BraveGuard: From Open-World Threats to Safer Computer-Use Agents [68.38397514360227]
BraveGuardは、オープンワールドの脅威信号とリアルエージェントの軌道からモデルを訓練するための自己進化型防衛フレームワークである。
我々は、Qwen3-GuardやLlama-Guardなど複数のガードバックボーンをトレーニングしてBraveGuardをインスタンス化し、トラジェクトリレベルのエージェントセーフティベンチマークの結果のガードを評価する。
論文 参考訳（メタデータ） (2026-05-31T11:16:18Z) - AgentWall: A Runtime Safety Layer for Local AI Agents [0.0]
AgentWallは、ローカルAIエージェントのランタイム安全性と可観測性レイヤである。
ホスト環境に到達する前に提案されたすべてのエージェントアクションをインターセプトし、明示的な宣言的なポリシーで評価し、機密性の高い操作に対して人間の承認を必要とし、監査と再生のための完全な実行パスを記録します。
本稿では,AgentWallの設計,アーキテクチャ,脅威モデル,およびポリシーモデルについて述べる。
論文 参考訳（メタデータ） (2026-03-24T11:39:35Z) - OpenGuardrails: A Configurable, Unified, and Scalable Guardrails Platform for Large Language Models [3.3252656373741547]
OpenGuardrailsは、大規模なモデルベースの安全性検出、操作防御、デプロイ可能なガードレールインフラストラクチャを統合する、最初の完全なオープンソースプラットフォームです。
OpenGuardrailsは,(1)有害なテキスト生成や明示的なテキスト生成などのコンテンツ安全違反,(2)迅速なインジェクション,ジェイルブレイク,コード・インタプリタの乱用を含むモデル操作攻撃,(3)機密情報や個人情報を含むデータ漏洩,という3つの主要なリスクに対して保護されている。
論文 参考訳（メタデータ） (2025-10-22T02:02:27Z) - Bag of Tricks for Subverting Reasoning-based Safety Guardrails [62.139297207938036]
推論に基づくガードレールを覆い隠すジェイルブレイク手法の袋を提示する。
攻撃対象は白、グレー、ブラックボックスの設定で、無駄なテンプレート操作から完全に自動化された最適化までさまざまです。
論文 参考訳（メタデータ） (2025-10-13T16:16:44Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳（メタデータ） (2025-10-03T12:47:21Z) - PSG-Agent: Personality-Aware Safety Guardrail for LLM-based Agents [60.23552141928126]
PSG-AgentはLLMベースのエージェントのためのパーソナライズされた動的システムである。
まずPSG-Agentは、安定した特性のために相互作用履歴をマイニングすることでパーソナライズされたガードレールを作成する。
第二に、PSG-Agentは特別なガードでエージェントパイプラインを横断する継続的監視を実装している。
論文 参考訳（メタデータ） (2025-09-28T03:31:59Z) - LlamaFirewall: An open source guardrail system for building secure AI agents [0.5603362829699733]
大規模言語モデル(LLM)は、単純なチャットボットから複雑なタスクを実行できる自律エージェントへと進化してきた。
リスクを軽減するための決定論的解決策が欠如していることを考えると、リアルタイムガードレールモニターが不可欠である。
私たちはオープンソースのセキュリティにフォーカスしたガードレールフレームワークであるLlamaFirewallを紹介します。
論文 参考訳（メタデータ） (2025-05-06T14:34:21Z) - GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning [79.07152553060601]
安全ガード要求を満たすか否かを動的に確認し,目標エージェントを保護する最初のガードレールエージェントであるガードアジェントを提案する。
特にGuardAgentは、まず安全ガードの要求を分析してタスクプランを生成し、それからその計画をガードレールコードにマップして実行します。
GuardAgentは、それぞれ98%と83%のガードレール精度を持つ2つのベンチマークにおいて、異なる種類のエージェントに対する違反行為を効果的に抑制することを示した。
論文 参考訳（メタデータ） (2024-06-13T14:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。