論文の概要: Context is Key for Agent Security
- arxiv url: http://arxiv.org/abs/2501.17070v2
- Date: Wed, 29 Jan 2025 20:02:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-31 11:53:08.621088
- Title: Context is Key for Agent Security
- Title(参考訳): エージェントセキュリティのためのコンテキスト
- Authors: Lillian Tsai, Eugene Bagdasarian,
- Abstract要約: 本稿では,エージェント領域におけるコンテキストセキュリティについて考察する。
それは、ジャスト・イン・タイム、コンテキスト、人間検証可能なセキュリティポリシーを生成するフレームワークであるConsecaを提案する。
- 参考スコア(独自算出の注目度): 0.276240219662896
- License:
- Abstract: Judging the safety of an action, whether taken by a human or a system, must take into account the context in which the action takes place. For example, deleting an email from a user's mailbox may or may not be appropriate depending on the email's content, the user's goals, or even available space. Systems today that make these judgements -- providing security against harmful or inappropriate actions -- rely on manually-crafted policies or user confirmation for each relevant context. With the upcoming deployment of systems like generalist agents, we argue that we must rethink security designs to adapt to the scale of contexts and capabilities of these systems. As a first step, this paper explores contextual security in the domain of agents and proposes contextual security for agents (Conseca), a framework to generate just-in-time, contextual, and human-verifiable security policies.
- Abstract(参考訳): 行動の安全性を判断するには、人間かシステムによってなされるかにかかわらず、その行動が起こる状況を考慮する必要がある。
例えば、電子メールをユーザのメールボックスから削除することは、メールの内容、ユーザの目標、あるいは利用可能なスペースに応じて適切であるかもしれないし、適切でないかもしれない。
今日では、有害または不適切なアクションに対するセキュリティを提供する、これらの判断を下すシステムは、関連するコンテキストごとに手作業によるポリシーやユーザ確認に依存しています。
ジェネラリストエージェントのようなシステムの今後の展開では、これらのシステムのコンテキストや能力のスケールに適応するためには、セキュリティ設計を再考する必要がある、と私たちは主張する。
最初のステップとして、エージェントのドメインにおけるコンテキストセキュリティについて検討し、ジャスト・イン・タイム、コンテキスト、人間検証可能なセキュリティポリシーを生成するフレームワークであるエージェントのコンテキストセキュリティ(Conseca)を提案する。
関連論文リスト
- Securing Legacy Communication Networks via Authenticated Cyclic Redundancy Integrity Check [98.34702864029796]
認証サイクル冗長性チェック(ACRIC)を提案する。
ACRICは、追加のハードウェアを必要とせずに後方互換性を保持し、プロトコルに依存しない。
ACRICは最小送信オーバーヘッド(1ms)で堅牢なセキュリティを提供する。
論文 参考訳(メタデータ) (2024-11-21T18:26:05Z) - Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。
本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。
ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
論文 参考訳(メタデータ) (2024-08-06T01:20:12Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳(メタデータ) (2024-05-10T17:38:32Z) - A Formal Model of Security Controls' Capabilities and Its Applications to Policy Refinement and Incident Management [0.2621730497733947]
本稿では,セキュリティ管理がセキュリティポリシーを強制する上で提供する機能を抽象化する形式モデルであるSecurity Capability Model(SCM)を提案する。
実世界のシナリオで有効性を検証することで、SCMは異なる複雑なセキュリティタスクの自動化を可能にすることを示す。
論文 参考訳(メタデータ) (2024-05-06T15:06:56Z) - RASP for LSASS: Preventing Mimikatz-Related Attacks [2.5782420501870296]
Windows認証インフラはLocal Security Authorityシステムに依存しており、その統合コンポーネントは lsass.exe である。
このフレームワークは、悪意のある意図を持った脅威アクターを惹きつける脆弱性を提示する。
CVEデータベースから引き起こされた文書化された脆弱性を利用したり、mimikatzのような高度なツールを利用したりすることで、敵はユーザーのパスワードとアドレス情報を盗み取ることに成功した。
論文 参考訳(メタデータ) (2023-12-30T20:37:37Z) - ASSERT: Automated Safety Scenario Red Teaming for Evaluating the
Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。
このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。
統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文 参考訳(メタデータ) (2023-10-14T17:10:28Z) - A Model Based Framework for Testing Safety and Security in Operational
Technology Environments [0.46040036610482665]
本稿では,テスト中のシステムの安全性とセキュリティの挙動を分析するための有望な手法として,モデルに基づくテスト手法を提案する。
基盤となるフレームワークの構造は、運用技術環境のテストにおいて重要な要素に従って、4つの部分に分けられる。
論文 参考訳(メタデータ) (2023-06-22T05:37:09Z) - Sustainable Adaptive Security [11.574868434725117]
本稿では,新たに発見された脅威を軽減し,適応型セキュリティシステムの拡張による永続的保護を反映したサステナブル・アダプティブ・セキュリティ(SAS)の概念を提案する。
私たちはスマートホームの例を使って、持続可能な適応セキュリティを満たすシステムのMAPE(Monitor, Analysis, Planning, Execution)ループのアクティビティをどのように構築できるかを示します。
論文 参考訳(メタデータ) (2023-06-05T08:48:36Z) - REGARD: Rules of EngaGement for Automated cybeR Defense to aid in
Intrusion Response [0.41998444721319206]
AICA(Automated Intelligent Cyberdefense Agents)は、IDS(Part Intrusion Detection Systems)およびIRS(Part Intrusion Response Systems)である。
我々は,人手による指示に従って,管理システムを保護するために,管理システムを保護するためのルール・オブ・エンゲージメント・ディフェンス(REGARD)システムを構築した。
論文 参考訳(メタデータ) (2023-05-23T11:52:02Z) - Foveate, Attribute, and Rationalize: Towards Physically Safe and
Trustworthy AI [76.28956947107372]
包括的不安全テキストは、日常的なシナリオから生じる可能性のある特定の関心領域であり、有害なテキストを検出するのが困難である。
安全の文脈において、信頼に値する合理的な生成のために外部知識を活用する新しいフレームワークであるFARMを提案する。
実験の結果,FARMはSafeTextデータセットの最先端結果を得ることができ,安全性の分類精度が5.9%向上したことがわかった。
論文 参考訳(メタデータ) (2022-12-19T17:51:47Z) - Certifiably Robust Policy Learning against Adversarial Communication in
Multi-agent Systems [51.6210785955659]
多くのマルチエージェント強化学習(MARL)では,エージェントが情報を共有し,適切な判断を下す上でコミュニケーションが重要である。
しかし、ノイズや潜在的な攻撃者が存在する現実世界のアプリケーションに訓練された通信エージェントを配置すると、通信ベースのポリシーの安全性は過小評価されている深刻な問題となる。
本研究では,攻撃者が任意の$CfracN-12$エージェントから被害者エージェントへの通信を任意に変更できる,$N$エージェントを備えた環境を検討する。
論文 参考訳(メタデータ) (2022-06-21T07:32:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。