論文の概要: ACCESS DENIED INC: The First Benchmark Environment for Sensitivity Awareness

• arxiv url: http://arxiv.org/abs/2506.00964v1
• Date: Sun, 01 Jun 2025 11:24:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.695252
• Title: ACCESS DENIED INC: The First Benchmark Environment for Sensitivity Awareness
• Title（参考訳）: アクセシデント認識のための最初のベンチマーク環境
• Authors: Dren Fazlija, Arkadij Orlov, Sandipan Sikdar,
• Abstract要約: 大規模言語モデル(LLM)は、様々な文書フォーマットからテキストを処理する能力のため、企業データ管理にとってますます価値が増している。 この研究は、敏感な言語モデルの基礎を確立し、企業環境におけるプライバシ中心のAIシステムを強化するための洞察を提供する。
• 参考スコア（独自算出の注目度）: 2.5967788365637103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly becoming valuable to corporate data management due to their ability to process text from various document formats and facilitate user interactions through natural language queries. However, LLMs must consider the sensitivity of information when communicating with employees, especially given access restrictions. Simple filtering based on user clearance levels can pose both performance and privacy challenges. To address this, we propose the concept of sensitivity awareness (SA), which enables LLMs to adhere to predefined access rights rules. In addition, we developed a benchmarking environment called ACCESS DENIED INC to evaluate SA. Our experimental findings reveal significant variations in model behavior, particularly in managing unauthorized data requests while effectively addressing legitimate queries. This work establishes a foundation for benchmarking sensitivity-aware language models and provides insights to enhance privacy-centric AI systems in corporate environments.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまなドキュメントフォーマットからテキストを処理し、自然言語クエリによるユーザインタラクションを容易にする能力によって、企業データ管理にとってますます価値が高まっている。 しかし、LLMは、特にアクセス制限を前提として、従業員と通信する際の情報の感度を考慮する必要がある。 ユーザクリアランスレベルに基づく単純なフィルタリングは、パフォーマンスとプライバシの両方の課題を引き起こす可能性がある。 そこで本稿では,LCMが事前定義されたアクセス権規則に準拠することのできる感性意識(SA)の概念を提案する。 さらに,SAを評価するためにACCESS DENIED INCというベンチマーク環境を開発した。 実験結果から, モデル動作, 特に不正なデータ要求の管理において, 適切なクエリを効果的に処理する上で, 重要なバリエーションが明らかとなった。 この研究は、感度認識言語モデルのベンチマークの基礎を確立し、企業環境におけるプライバシ中心のAIシステムを強化するための洞察を提供する。

関連論文リスト

• PrivaCI-Bench: Evaluating Privacy with Contextual Integrity and Legal Compliance [44.287734754038254]
  生成型大規模言語モデル(LLM)のコンテキストプライバシ評価ベンチマークであるPrivaCI-Benchを提案する。 本稿では,最近の推論モデルQwQ-32BとDeepseek R1を含む最新のLCMを評価した。 実験の結果、LLMは特定のコンテキスト内で重要なCIパラメータを効果的にキャプチャできるが、プライバシコンプライアンスのさらなる進歩が必要であることが示唆された。
  論文  参考訳（メタデータ） (2025-02-24T10:49:34Z)
• PRIV-QA: Privacy-Preserving Question Answering for Cloud Large Language Models [10.050972891318324]
  本稿では,ユーザと大規模言語モデル間のインタラクションにおいて,プライバシとセンシティブな情報を保護するためのプライバシ保護パイプラインを提案する。 プライバシを開放した最初の質問応答データセットであるSensitiveQAを構築した。 提案手法は,クラウド上でのLCMの応答品質を同時に保ちながら,ユーザ情報の事前確保を目的としたマルチステージ戦略を用いている。
  論文  参考訳（メタデータ） (2025-02-19T09:17:07Z)
• Gensors: Authoring Personalized Visual Sensors with Multimodal Foundation Models and Reasoning [61.17099595835263]
  Gensorsは、ユーザがMLLMの推論能力によってサポートされているカスタマイズされたセンサーを定義することを可能にするシステムである。 ユーザスタディでは、Gensorsを用いてセンサーを定義するとき、参加者はコントロール、理解、コミュニケーションの容易さを著しく向上させた。
  論文  参考訳（メタデータ） (2025-01-27T01:47:57Z)
• Privacy-Preserving Customer Support: A Framework for Secure and Scalable Interactions [0.0]
  本稿では,大規模言語モデル(LLM)をゼロショット学習モードで活用する新しいアプローチとして,プライバシー保護ゼロショット学習(PP-ZSL)フレームワークを提案する。 従来の機械学習手法とは異なり、PP-ZSLは、事前学習されたLLMを使用して直接応答を生成することで、機密データに対する局所的なトレーニングを不要にしている。 このフレームワークには、リアルタイムデータ匿名化による機密情報の修正やマスク、ドメイン固有のクエリ解決のための検索強化生成(RAG)、規制基準の遵守を保証するための堅牢な後処理が含まれている。
  論文  参考訳（メタデータ） (2024-12-10T17:20:47Z)
• Evaluating Cultural and Social Awareness of LLM Web Agents [113.49968423990616]
  CASAは,大規模言語モデルの文化的・社会的規範に対する感受性を評価するためのベンチマークである。 提案手法は,標準に違反するユーザクエリや観察を検知し,適切に応答するLLMエージェントの能力を評価する。 実験により、現在のLLMは非エージェント環境で大幅に性能が向上していることが示された。
  論文  参考訳（メタデータ） (2024-10-30T17:35:44Z)
• ProSA: Assessing and Understanding the Prompt Sensitivity of LLMs [72.13489820420726]
  ProSAは、大規模な言語モデルにおいて、迅速な感度を評価し、理解するために設計されたフレームワークである。 我々の研究は、データセットやモデル間で迅速に感度が変動することを発見し、より大きなモデルでは堅牢性が向上することを示した。
  論文  参考訳（メタデータ） (2024-10-16T09:38:13Z)
• Trustworthy AI: Securing Sensitive Data in Large Language Models [0.0]
  大規模言語モデル(LLM)は、堅牢なテキスト生成と理解を可能にすることで自然言語処理(NLP)を変革した。 本稿では, 機密情報の開示を動的に制御するために, 信頼機構をLCMに組み込むための包括的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-26T19:02:33Z)
• ReCaLL: Membership Inference via Relative Conditional Log-Likelihoods [56.073335779595475]
  本稿ではReCaLL(Relative Conditional Log-Likelihood)を提案する。 実験の結果,非メンバープレフィックスの条件付きメンバーデータは,非メンバーデータと比較してログライクな傾向が著しく低下することがわかった。 我々は総合的な実験を行い、ReCaLLがWikiMIAデータセット上で最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-06-23T00:23:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。