Fugu-MT 論文翻訳(概要): Provably Secure Agent Guardrail

論文の概要: Provably Secure Agent Guardrail

arxiv url: http://arxiv.org/abs/2605.29251v1
Date: Thu, 28 May 2026 02:12:41 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-30 02:45:55.592023
Title: Provably Secure Agent Guardrail
Title（参考訳）: おそらく安全なエージェントガードレール
Authors: Benlong Wu, Weiming Zhang, Kejiang Chen, Han Fang, Nenghai Yu,
Abstract要約: 既存の防衛アーキテクチャは経験的セマンティックガードレールと確率論的大モデル調整器に依存している。本稿では,論理的推論の基本的制約に基づくエージェントのための新しいセキュリティパラダイムを提案する。
参考スコア（独自算出の注目度）: 89.79561918065122
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As large language models transition from bounded generative engines to agents with expansive execution privileges, AI going out of control precipitates a fundamental crisis in artificial intelligence security. Existing defense architectures heavily rely on empirical semantic guardrails and probabilistic large model adjudicators, mechanisms that fail to provide deterministic security lower bounds when facing complex semantic symbol decoupling attacks. To overcome this empirical semantic guardrail dilemma, this paper proposes a new security paradigm for agents based on the fundamental limitations of logical reasoning. Based on this paradigm, we further introduce an executable Proof-Constrained Action (ePCA) framework with a neural symbolic isolation architecture. This framework abandons semantic trust in natural language, forcing agents to losslessly formalize their intentions into first-order logical mathematical constraints before performing physical operations. Empirical evaluations of macroscopic and microscopic two-dimensional dynamic adversarial systems demonstrate that our formal verification mechanism achieves zero attack success rate and zero false positive rate across the evaluated scenarios, with extremely low computational latency. This research provides a conditional formal foundation under explicit system assumptions and an engineering paradigm for constructing the underlying defense foundation for future intelligent systems.
Abstract（参考訳）: 大規模言語モデルが境界生成エンジンから広範な実行権限を持つエージェントへと移行するにつれ、AIの制御不能が人工知能セキュリティの根本的な危機を招きかねない。既存の防衛アーキテクチャは、複雑なセマンティックシンボルのデカップリング攻撃に直面した場合、決定論的セキュリティの低い境界を提供するのに失敗した、経験的セマンティックガードレールと確率的大モデル調整器に大きく依存している。本稿では,この経験的セマンティックガードレールジレンマを克服するために,論理的推論の基本的制約に基づくエージェントのための新しいセキュリティパラダイムを提案する。このパラダイムに基づいて、ニューラルシンボリックアイソレーションアーキテクチャを備えた実行可能なProof-Constrained Action(ePCA)フレームワークをさらに導入する。この枠組みは自然言語に対する意味論的信頼を放棄し、エージェントは物理的操作を行う前に、その意図を一階の論理数学的制約に無意味に定式化せざるを得ない。マクロおよび微視的2次元動的対向系の実験的評価は,我々の形式的検証機構が,計算遅延を極端に低くして,評価シナリオ間でゼロ攻撃成功率とゼロ偽陽性率を達成することを示した。本研究は、明示的なシステム仮定に基づく条件付き公式基盤と、将来のインテリジェントシステムのための基盤となる防衛基盤を構築するためのエンジニアリングパラダイムを提供する。

関連論文リスト

Entropy-Gradient Inversion: Moving Toward Internal Mechanism of Large Reasoning Models [47.195670444638715]
トークンエントロピーとロジット勾配の堅牢な相関関係であるtextbfEntropy-Gradient Inversion を同定し,正式に定義する。我々は,この逆シグネチャを強化学習に組み込んだtextbfCorrelation-Regularized Group Policy Optimization (CorR-PO)を提案する。複数のモデルスケールにわたる様々な推論ベンチマークの実験は、Corr-POが最先端のベースラインを一貫して上回っていることを示している。
論文参考訳（メタデータ） (2026-05-18T02:41:53Z)
Architecting Secure AI Agents: Perspectives on System-Level Defenses Against Indirect Prompt Injection Attacks [46.32011684548212]
AIエージェントは間接的なプロンプトインジェクションに対して脆弱であり、信頼できないデータに埋め込まれた悪意のある命令は危険なエージェントアクションを引き起こす可能性がある。本稿では,間接的インジェクション攻撃に対するシステムレベルの防御の展望について論じる。
論文参考訳（メタデータ） (2026-03-31T17:15:46Z)
A Survey of Reasoning in Autonomous Driving Systems: Open Challenges and Emerging Paradigms [49.66022971508878]
私たちは、推論はモジュラーコンポーネントからシステムの認知コアに高めるべきだと論じています。応答性推論のトレードオフやソーシャルゲーム推論など,7つの中核的推論課題を導出し,体系化する。我々は,LLMに基づく推論と,ミリ秒スケールで安全クリティカルな車両制御の要求との間の,高レイテンシ,熟考的特性の根本的かつ未解決な緊張関係を同定する。
論文参考訳（メタデータ） (2026-03-11T07:40:53Z)
Extending the Formalism and Theoretical Foundations of Cryptography to AI [18.724847875398435]
言語モデル(Large Language Models)の最近の進歩は、自律型LMベースのエージェントの開発を可能にしている。セキュリティリスクを軽減するための新たな方向の1つは、アクセス制御とパーミッション機構を通じてエージェントの動作を制限することだ。まず、言語モデルに合わせた攻撃分類を構築することで、景観を体系化する。次に,AIOracleをアルゴリズムで定義し,セキュリティゲームフレームワークを導入することにより,エージェントアクセス制御の形式的処理を開発する。
論文参考訳（メタデータ） (2026-03-03T04:11:21Z)
TraceGuard: Process-Guided Firewall against Reasoning Backdoors in Large Language Models [19.148124494194317]
我々は,小規模モデルを堅牢な推論ファイアウォールに変換するプロセス誘導型セキュリティフレームワークであるTraceGuardを提案する。提案手法は,推理トレースを信頼できないペイロードとして扱い,詳細な防衛戦略を確立する。グレーボックス設定における適応的敵に対する堅牢性を実証し、TraceGuardを実用的で低レイテンシなセキュリティプリミティブとして確立する。
論文参考訳（メタデータ） (2026-03-02T22:19:13Z)
CIBER: A Comprehensive Benchmark for Security Evaluation of Code Interpreter Agents [27.35968236632966]
LLMベースのコードインタプリタエージェントは、ますます重要な状況にデプロイされている。既存のベンチマークでは、動的コード実行、ツールインタラクション、マルチターンコンテキストから生じるセキュリティリスクをキャプチャできない。動的アタック生成、分離されたセキュアサンドボックス、状態認識評価を組み合わせた自動ベンチマークであるCIBERを紹介する。
論文参考訳（メタデータ） (2026-02-23T06:41:41Z)
Pushing the Boundaries of Natural Reasoning: Interleaved Bonus from Formal-Logic Verification [49.506412445511934]
大きな言語モデル(LLM)は目覚ましい能力を示すが、その次は論理的不整合と報奨ハックを生み出す。本稿では,自然言語生成プロセスと形式的記号的検証を動的にインターリーブする形式論理検証誘導フレームワークを提案する。我々はこのフレームワークを,形式論理検証誘導制御による微調整とポリシー最適化の相乗効果を生かした,新しい2段階のトレーニングパイプラインを通じて運用する。
論文参考訳（メタデータ） (2026-01-30T07:01:25Z)
SoK: Trust-Authorization Mismatch in LLM Agent Interactions [16.633676842555044]
大規模言語モデル(LLM)は、外の世界と対話できる自律エージェントへと急速に進化している。本稿ではエージェント・インタラクション・セキュリティのための統一型フォーマルレンズを提供する。本稿では,信頼と権限のギャップに着目した新たなリスク分析モデルを提案する。
論文参考訳（メタデータ） (2025-12-07T16:41:02Z)
Cognitive Silicon: An Architectural Blueprint for Post-Industrial Computing Systems [0.0]
本稿では2035年に向けて提案された仮想的なフルスタックアーキテクチャフレームワークについて,認知コンピューティングシステム設計の軌道を探究する。提案したアーキテクチャは、シンボリックなスキャフォールディング、管理されたメモリ、実行時のモラルコヒーレンス、シリコンとセマンティック層間のアライメント対応実行を統合する。
論文参考訳（メタデータ） (2025-04-23T11:24:30Z)
Logically Consistent Adversarial Attacks for Soft Theorem Provers [110.17147570572939]
本稿では,言語モデルの推論能力の探索と改善のための生成的逆説フレームワークを提案する。我々のフレームワークは、敵の攻撃をうまく発生させ、グローバルな弱点を識別する。有効探索に加えて, 生成したサンプルのトレーニングにより, 対象モデルの性能が向上することを示す。
論文参考訳（メタデータ） (2022-04-29T19:10:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。