論文の概要: CI-Work: Benchmarking Contextual Integrity in Enterprise LLM Agents
- arxiv url: http://arxiv.org/abs/2604.21308v1
- Date: Thu, 23 Apr 2026 06:00:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:06.324033
- Title: CI-Work: Benchmarking Contextual Integrity in Enterprise LLM Agents
- Title(参考訳): CI-Work: エンタープライズLLMエージェントにおけるコンテキスト統合のベンチマーク
- Authors: Wenjie Fu, Xiaoting Qin, Jue Zhang, Qingwei Lin, Lukas Wutschitz, Robert Sim, Saravan Rajmohan, Dongmei Zhang,
- Abstract要約: 企業を5つの情報フロー方向にシミュレートするベンチマークであるCI-Workを紹介します。
我々は,密集した検索設定において,センシティブなコンテキストを保ちながら,エージェントが本質的な内容を伝えることができるかどうかを評価する。
我々は、企業を保護するにはパラダイムシフトが必要だと結論付け、モデル中心のスケーリングからコンテキスト中心のアーキテクチャへと移行する。
- 参考スコア(独自算出の注目度): 45.72565646488892
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enterprise LLM agents can dramatically improve workplace productivity, but their core capability, retrieving and using internal context to act on a user's behalf, also creates new risks for sensitive information leakage. We introduce CI-Work, a Contextual Integrity (CI)-grounded benchmark that simulates enterprise workflows across five information-flow directions and evaluates whether agents can convey essential content while withholding sensitive context in dense retrieval settings. Our evaluation of frontier models reveals that privacy failures are prevalent (violation rates range from 15.8%-50.9%, with leakage reaching up to 26.7%) and uncovers a counterintuitive trade-off critical for industrial deployment: higher task utility often correlates with increased privacy violations. Moreover, the massive scale of enterprise data and potential user behavior further amplify this vulnerability. Simply increasing model size or reasoning depth fails to address the problem. We conclude that safeguarding enterprise workflows requires a paradigm shift, moving beyond model-centric scaling toward context-centric architectures.
- Abstract(参考訳): エンタープライズLLMエージェントは、職場の生産性を劇的に向上させることができるが、その中核となる能力は、ユーザーの代わりに内部コンテキストを検索して利用することであり、センシティブな情報漏洩の新たなリスクも生み出す。
このベンチマークは5つの情報フロー方向の企業ワークフローをシミュレートし、エージェントが密集した検索設定においてセンシティブなコンテキストを保ちながら本質的なコンテンツを伝達できるかどうかを評価する。
我々のフロンティアモデルに対する評価では、プライバシーの障害(違反率は15.8%から50.9%、漏洩率は26.7%)が一般的であり、産業展開に不可欠な直感的なトレードオフを明らかにする。
さらに、エンタープライズデータの大規模化と潜在的なユーザ行動によって、この脆弱性はさらに増幅される。
単にモデルのサイズや推論の深さが大きくなると、その問題に対処できなくなります。
エンタープライズワークフローの保護にはパラダイムシフトが必要であり、モデル中心のスケーリングからコンテキスト中心のアーキテクチャへと移行している、と私たちは結論付けています。
関連論文リスト
- Are Your Agents Upward Deceivers? [73.1073084327614]
大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。
これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。
本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
論文 参考訳(メタデータ) (2025-12-04T14:47:05Z) - PrivacyPAD: A Reinforcement Learning Framework for Dynamic Privacy-Aware Delegation [33.37227619820212]
この問題を解決するために、プライバシPADと呼ばれる新しい強化学習フレームワークを導入する。
我々のフレームワークは、エージェントにテキストチャンクを動的にルーティングするように訓練し、プライバシリークとタスクパフォーマンスのトレードオフを最適にバランスさせるポリシーを学ぶ。
当社のフレームワークは,プライバシ・ユーティリティ・フロンティアにおける新たな最先端を実現する。
論文 参考訳(メタデータ) (2025-10-16T19:38:36Z) - Understanding and Benchmarking the Trustworthiness in Multimodal LLMs for Video Understanding [59.50808215134678]
この研究では、23の最先端のビデオLLMを評価する最初の総合的なベンチマークであるTrust-videoLLMを紹介した。
その結果、動的シーン理解、クロスモーダルレジリエンス、現実世界のリスク軽減において、大きな制限が示された。
論文 参考訳(メタデータ) (2025-06-14T04:04:54Z) - OpenDeception: Benchmarking and Investigating AI Deceptive Behaviors via Open-ended Interaction Simulation [25.17027143580468]
オープンなシナリオデータセットを備えた,新たな偽装評価フレームワークであるOpenDeceptionを紹介する。
OpenDeception は LLM をベースとしたエージェントの偽装意図と能力の両方を, 内部推論過程を検査することによって共同評価する。
そこで本研究では, エージェントシミュレーションによるマルチターン対話をシミュレートする手法を提案する。
論文 参考訳(メタデータ) (2025-04-18T14:11:27Z) - Byzantine-Robust Federated Learning Using Generative Adversarial Networks [1.4091801425319963]
フェデレートラーニング(FL)は、生データを共有せずに分散クライアント間で協調的なモデルトレーニングを可能にするが、その堅牢性は、データやモデル中毒といったビザンチンの行動によって脅かされている。
本稿では,クライアントの更新を検証するための代表データを生成するために,サーバ上の条件付き生成逆ネットワーク(cGAN)を活用することで,これらの課題に対処する防衛フレームワークを提案する。
このアプローチは、外部データセットへの依存を排除し、多様な攻撃戦略に適応し、標準FLにシームレスに統合する。
論文 参考訳(メタデータ) (2025-03-26T18:00:56Z) - Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
機密情報を含む匿名化は、幅広いアプリケーションにとって不可欠である。
既存の技術は、大規模言語モデルの再識別能力の新たな課題に直面している。
本稿では,プライバシ評価器,ユーティリティ評価器,最適化コンポーネントの3つの重要なコンポーネントで構成されるフレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-16T14:28:56Z) - Do as I do (Safely): Mitigating Task-Specific Fine-tuning Risks in Large Language Models [93.08860674071636]
悪質なアクターが、ほぼすべてのタスク固有のデータセットの構造を微妙に操作して、危険なモデル行動を促進する方法を示す。
本稿では,タスク形式を模倣した安全データとユーザデータのスタイルを混合した新しい緩和戦略を提案する。
論文 参考訳(メタデータ) (2024-06-12T18:33:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。