論文の概要: Enterprise AI Must Enforce Participant-Aware Access Control

• arxiv url: http://arxiv.org/abs/2509.14608v1
• Date: Thu, 18 Sep 2025 04:30:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.061733
• Title: Enterprise AI Must Enforce Participant-Aware Access Control
• Title（参考訳）: 参加型アクセス制御を強制するエンタープライズAI
• Authors: Shashank Shreedhar Bhatt, Tanmay Rajore, Khushboo Aggarwal, Ganesh Ananthanarayanan, Ranveer Chandra, Nishanth Chandran, Suyash Choudhury, Divya Gupta, Emre Kiciman, Sumit Kumar Pandey, Srinath Setty, Rahul Sharma, Teijia Zhao,
• Abstract要約: 大規模言語モデル(LLM)は、複数のユーザと対話し、センシティブな内部データに基づいてトレーニングあるいは微調整されるエンタープライズ環境に、ますます多くデプロイされている。 敵は、現在の微調整アーキテクチャやRAGアーキテクチャを利用して、アクセス制御の強制力の欠如を活用して機密情報を漏洩することができることを示す。 本稿では, LLM による学習, 検索, 生成に使用されるコンテンツは, インセンティブに関わるユーザに対して明示的に認証される,という原則に基づくフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.68210477539956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly deployed in enterprise settings where they interact with multiple users and are trained or fine-tuned on sensitive internal data. While fine-tuning enhances performance by internalizing domain knowledge, it also introduces a critical security risk: leakage of confidential training data to unauthorized users. These risks are exacerbated when LLMs are combined with Retrieval-Augmented Generation (RAG) pipelines that dynamically fetch contextual documents at inference time. We demonstrate data exfiltration attacks on AI assistants where adversaries can exploit current fine-tuning and RAG architectures to leak sensitive information by leveraging the lack of access control enforcement. We show that existing defenses, including prompt sanitization, output filtering, system isolation, and training-level privacy mechanisms, are fundamentally probabilistic and fail to offer robust protection against such attacks. We take the position that only a deterministic and rigorous enforcement of fine-grained access control during both fine-tuning and RAG-based inference can reliably prevent the leakage of sensitive data to unauthorized recipients. We introduce a framework centered on the principle that any content used in training, retrieval, or generation by an LLM is explicitly authorized for \emph{all users involved in the interaction}. Our approach offers a simple yet powerful paradigm shift for building secure multi-user LLM systems that are grounded in classical access control but adapted to the unique challenges of modern AI workflows. Our solution has been deployed in Microsoft Copilot Tuning, a product offering that enables organizations to fine-tune models using their own enterprise-specific data.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複数のユーザと対話し、センシティブな内部データに基づいてトレーニングまたは微調整されるエンタープライズ環境で、ますます多くデプロイされている。 微調整はドメイン知識を内部化することによってパフォーマンスを向上させるが、重要なセキュリティリスクももたらしている。 これらのリスクは、LLMとRetrieval-Augmented Generation (RAG)パイプラインを組み合わせることで、推論時に動的にコンテキスト文書を取得することで悪化する。 敵が現在の微調整アーキテクチャとRAGアーキテクチャを利用して、アクセス制御の実施方法の欠如を利用して機密情報を漏洩するAIアシスタントに対するデータ流出攻撃を実演する。 本稿では, 早期衛生化, 出力フィルタリング, システム分離, トレーニングレベルのプライバシメカニズムを含む既存の防御機構が, 基本的に確率的であり, 攻撃に対する堅牢な保護を提供していないことを示す。 我々は、微調整とRAGに基づく推論の両方において、きめ細かなアクセス制御を決定的かつ厳格に実施するだけで、機密データの不正な受信者への漏洩を確実に防止できる立場を取る。 本稿では, LLMによる学習, 検索, 生成に使用されるコンテンツは, 対話に関わるユーザに対して明示的に認証される,という原則に基づくフレームワークを提案する。 我々のアプローチは、古典的なアクセス制御に基礎を置いているが、現代のAIワークフローのユニークな課題に適応したセキュアなマルチユーザLLMシステムを構築するための、シンプルで強力なパラダイムシフトを提供する。 当社のソリューションは、Microsoft Copilot Tuningにデプロイされています。

関連論文リスト

• Searching for Privacy Risks in LLM Agents via Simulation [60.22650655805939]
  本稿では、プライバシクリティカルなエージェントインタラクションをシミュレートすることで、攻撃者の改善とディフェンダーの指示を交互に行う検索ベースのフレームワークを提案する。 攻撃戦略は、単純な直接要求から、偽造や同意偽造といった高度な多ターン戦術へとエスカレートする。 発見された攻撃と防御は、さまざまなシナリオやバックボーンモデルにまたがって伝達され、プライバシーに配慮したエージェントを構築するための強力な実用性を示している。
  論文  参考訳（メタデータ） (2025-08-14T17:49:09Z)
• Secure Tug-of-War (SecTOW): Iterative Defense-Attack Training with Reinforcement Learning for Multimodal Model Security [63.41350337821108]
  マルチモーダル大規模言語モデル(MLLM)のセキュリティを高めるために,Secure Tug-of-War(SecTOW)を提案する。 SecTOWは2つのモジュールで構成される:ディフェンダーと補助攻撃者。どちらも強化学習(GRPO)を使用して反復的に訓練される。 SecTOWは、一般的な性能を維持しながら、セキュリティを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2025-07-29T17:39:48Z)
• DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [33.40201949055383]
  大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。 この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。 本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-13T05:01:09Z)
• Defeating Prompt Injections by Design [79.00910871948787]
  CaMeLは、Large Language Modelsを中心とした保護システムレイヤを作成する堅牢なディフェンスである。 CaMeLは、(信頼された)クエリから制御とデータフローを明示的に抽出する。 セキュリティをさらに改善するため、CaMeLは、権限のないデータフロー上のプライベートデータの流出を防止する機能の概念を使用している。
  論文  参考訳（メタデータ） (2025-03-24T15:54:10Z)
• How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities [62.474732677086855]
  大規模言語モデル(LLM)ルーティングは,計算コストと性能のバランスをとる上で重要な戦略である。 DSCベンチマークを提案する: Diverse, Simple, and Categorizedは、幅広いクエリタイプでルータのパフォーマンスを分類する評価フレームワークである。
  論文  参考訳（メタデータ） (2025-03-20T19:52:30Z)
• Can LLMs Hack Enterprise Networks? Autonomous Assumed Breach Penetration-Testing Active Directory Networks [1.3124479769761592]
  本稿では,Large Language Model (LLM) 駆動自律システムを用いた新しいプロトタイプを提案する。 我々のシステムは、完全に自律的でLLM駆動のフレームワークがアカウントを妥協できる最初の実演である。 関連するコストは、プロフェッショナルな人間のペンテスト担当者によって引き起こされるコストと競合し、しばしばかなり低いことが分かりました。
  論文  参考訳（メタデータ） (2025-02-06T17:12:43Z)
• Trustworthy AI: Securing Sensitive Data in Large Language Models [0.0]
  大規模言語モデル(LLM)は、堅牢なテキスト生成と理解を可能にすることで自然言語処理(NLP)を変革した。 本稿では, 機密情報の開示を動的に制御するために, 信頼機構をLCMに組み込むための包括的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-26T19:02:33Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• Secure Instruction and Data-Level Information Flow Tracking Model for RISC-V [0.0]
  不正アクセス、障害注入、およびプライバシー侵害は、信頼できないアクターによる潜在的な脅威である。 本稿では,実行時セキュリティがシステム完全性を保護するために,IFT(Information Flow Tracking)技術を提案する。 本研究では,ハードウェアベース IFT 技術とゲートレベル IFT (GLIFT) 技術を統合したマルチレベル IFT モデルを提案する。
  論文  参考訳（メタデータ） (2023-11-17T02:04:07Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。