論文の概要: PICO: Secure Transformers via Robust Prompt Isolation and Cybersecurity Oversight
- arxiv url: http://arxiv.org/abs/2504.21029v1
- Date: Sat, 26 Apr 2025 00:46:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-10 02:16:18.060021
- Title: PICO: Secure Transformers via Robust Prompt Isolation and Cybersecurity Oversight
- Title（参考訳）: PICO:ロバスト・プロンプトによるセキュアなトランスフォーマーとサイバーセキュリティ監視
- Authors: Ben Goertzel, Paulos Yibelo,
- Abstract要約: 本稿では,迅速なインジェクション攻撃を防止するために,ロバストなトランスフォーマーアーキテクチャを提案する。
PICOフレームワークは,信頼できないユーザ入力から信頼されたシステム命令を構造的に分離する。
専門のSecurity Expert AgentをMixture-of-Expertsフレームワークに組み込んでいます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a robust transformer architecture designed to prevent prompt injection attacks and ensure secure, reliable response generation. Our PICO (Prompt Isolation and Cybersecurity Oversight) framework structurally separates trusted system instructions from untrusted user inputs through dual channels that are processed independently and merged only by a controlled, gated fusion mechanism. In addition, we integrate a specialized Security Expert Agent within a Mixture-of-Experts (MoE) framework and incorporate a Cybersecurity Knowledge Graph (CKG) to supply domain-specific reasoning. Our training design further ensures that the system prompt branch remains immutable while the rest of the network learns to handle adversarial inputs safely. This PICO framework is presented via a general mathematical formulation, then elaborated in terms of the specifics of transformer architecture, and fleshed out via hypothetical case studies including Policy Puppetry attacks. While the most effective implementation may involve training transformers in a PICO-based way from scratch, we also present a cost-effective fine-tuning approach.
- Abstract（参考訳）: 本稿では,迅速なインジェクション攻撃を防止し,セキュアで信頼性の高い応答生成を実現するために,ロバストなトランスフォーマーアーキテクチャを提案する。
我々のPICO(Prompt isolation and Cybersecurity Oversight)フレームワークは、独立して処理され、制御されたゲート融合機構によってのみマージされる二重チャネルを介して、信頼できないユーザ入力から信頼されたシステム命令を構造的に分離する。
さらに、Mixture-of-Experts(MoE)フレームワークに専門のセキュリティ専門家エージェントを統合し、セキュリティ知識グラフ(CKG)を組み込んでドメイン固有の推論の供給を行う。
我々のトレーニング設計は、システムのプロンプトブランチが不変であることをさらに保証し、残りのネットワークは、敵の入力を安全に扱えるように学習する。
このPICOフレームワークは、一般的な数学的定式化を通じて提示され、トランスフォーマーアーキテクチャの特異性の観点から詳しく説明され、Physical Puppetry攻撃を含む仮説的なケーススタディによって具体化されている。
最も効果的な実装は、PICOベースのトレーニングトランスフォーマーをスクラッチから行うことであるが、コスト効率の良い微調整アプローチも提示する。
関連論文リスト
- Designing Control Barrier Function via Probabilistic Enumeration for Safe Reinforcement Learning Navigation [55.02966123945644]
本稿では,ニューラルネットワーク検証技術を利用して制御障壁関数(CBF)とポリシー修正機構の設計を行う階層型制御フレームワークを提案する。
提案手法は,安全なCBFベースの制御層を構築するために使用される,安全でない操作領域を特定するための確率的列挙に依存する。
これらの実験は、効率的なナビゲーション動作を維持しながら、安全でない動作を補正する提案手法の能力を実証するものである。
論文 参考訳（メタデータ） (2025-04-30T13:47:25Z) - Combined Hyper-Extensible Extremely-Secured Zero-Trust CIAM-PAM architecture [0.0]
本稿では,CHEZ (Combined Hyper-Extensible Extremely-Secured Zero-Trust) CIAM-PAMアーキテクチャを提案する。
このフレームワークは、パスワードレス認証、適応型多要素認証、マイクロサービスベースのPEP、マルチレイヤRBAC、マルチレベル信頼システムを統合することで、重要なセキュリティギャップに対処する。
エンドツーエンドのデータ暗号化や、最先端のAIベースの脅威検出システムとのシームレスな統合も含まれている。
論文 参考訳（メタデータ） (2025-01-03T09:49:25Z) - Securing Legacy Communication Networks via Authenticated Cyclic Redundancy Integrity Check [98.34702864029796]
認証サイクル冗長性チェック(ACRIC)を提案する。
ACRICは、追加のハードウェアを必要とせずに後方互換性を保持し、プロトコルに依存しない。
ACRICは最小送信オーバーヘッド(1ms)で堅牢なセキュリティを提供する。
論文 参考訳（メタデータ） (2024-11-21T18:26:05Z) - Automated Hardware Logic Obfuscation Framework Using GPT [3.1789948141373077]
本稿では,GPT(Generative Pre-trained Transformer)モデルを利用した難読化プロセスを自動化する新しいフレームワークであるObfus-chatを紹介する。
提案フレームワークは,ハードウェア設計ネットリストとキーサイズを入力として受け入れ,セキュリティ向上のために最適化された難読コードを自動的に生成する。
論文 参考訳（メタデータ） (2024-05-20T17:33:00Z) - Securing Federated Learning with Control-Flow Attestation: A Novel Framework for Enhanced Integrity and Resilience against Adversarial Attacks [2.28438857884398]
分散機械学習パラダイムとしてのフェデレートラーニング(FL)は、新たなサイバーセキュリティ課題を導入した。
本研究では,従来サイバーセキュリティに用いられてきた制御フロー(CFA)機構にインスパイアされた,革新的なセキュリティフレームワークを提案する。
我々は、ネットワーク全体にわたるモデル更新の完全性を認証し、検証し、モデル中毒や敵対的干渉に関連するリスクを効果的に軽減する。
論文 参考訳（メタデータ） (2024-03-15T04:03:34Z) - HOACS: Homomorphic Obfuscation Assisted Concealing of Secrets to Thwart Trojan Attacks in COTS Processor [0.6874745415692134]
ハードウェアトロイの木馬に対する秘密資産の機密性を確保するためのソフトウェア指向の対策を提案する。
提案したソリューションは、サプライチェーンエンティティを信頼する必要はなく、IC設計の分析や修正を必要としない。
我々は,AES(Advanced Encryption Standard)プログラムで秘密鍵を保護するために提案手法を実装し,詳細なセキュリティ分析を行った。
論文 参考訳（メタデータ） (2024-02-15T04:33:30Z) - A Survey and Comparative Analysis of Security Properties of CAN Authentication Protocols [92.81385447582882]
コントロールエリアネットワーク(CAN)バスは車内通信を本質的に安全でないものにしている。
本稿では,CANバスにおける15の認証プロトコルをレビューし,比較する。
実装の容易性に寄与する本質的な運用基準に基づくプロトコルの評価を行う。
論文 参考訳（メタデータ） (2024-01-19T14:52:04Z) - Secure Transformer Inference Protocol [15.610303095235372]
ChatGPTなどのTransformerベースのサービスでは、モデルパラメータとユーザデータのセキュリティが重要になる。
セキュアな双方向プロトコルの最近の進歩は、Transformerモデルを提供する際のセキュリティ上の懸念に対処している。
推測精度を損なうことなくセキュアなトランスフォーマー推論プロトコルSTIPを提案する。
論文 参考訳（メタデータ） (2023-11-14T14:37:23Z) - Trust-Aware Resilient Control and Coordination of Connected and
Automated Vehicles [11.97553028903872]
敵の攻撃は安全違反を引き起こし、衝突や交通渋滞を引き起こす。
敵攻撃や非協力的CAVの影響を緩和する分散型レジリエンス制御・調整手法を提案する。
論文 参考訳（メタデータ） (2023-05-26T10:57:51Z) - Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。
これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
論文 参考訳（メタデータ） (2022-08-23T05:02:09Z) - Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive
Privacy Analysis and Beyond [57.10914865054868]
垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。
我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
論文 参考訳（メタデータ） (2022-07-19T05:47:30Z) - Safe RAN control: A Symbolic Reinforcement Learning Approach [62.997667081978825]
本稿では,無線アクセスネットワーク(RAN)アプリケーションの安全管理のためのシンボル強化学習(SRL)アーキテクチャを提案する。
我々は、ユーザが所定のセルネットワークトポロジに対して高レベルの論理的安全性仕様を指定できる純粋に自動化された手順を提供する。
ユーザがシステムに意図仕様を設定するのを支援するために開発されたユーザインターフェース(UI)を導入し、提案するエージェントの動作の違いを検査する。
論文 参考訳（メタデータ） (2021-06-03T16:45:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。