論文の概要: PersonaBench: Evaluating AI Models on Understanding Personal Information through Accessing (Synthetic) Private User Data

• arxiv url: http://arxiv.org/abs/2502.20616v1
• Date: Fri, 28 Feb 2025 00:43:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:42:20.392678
• Title: PersonaBench: Evaluating AI Models on Understanding Personal Information through Accessing (Synthetic) Private User Data
• Title（参考訳）: PersonaBench: 個人情報へのアクセス(合成)による個人情報理解のためのAIモデルの評価
• Authors: Juntao Tan, Liangwei Yang, Zuxin Liu, Zhiwei Liu, Rithesh Murthy, Tulika Manoj Awalgaonkar, Jianguo Zhang, Weiran Yao, Ming Zhu, Shirley Kokane, Silvio Savarese, Huan Wang, Caiming Xiong, Shelby Heinecke,
• Abstract要約: パーソナライゼーションは、AIアシスタント、特に個々のユーザーと連携するプライベートAIモデルのコンテキストにおいて重要である。 このようなデータのセンシティブな性質のため、AIモデルのユーザ理解能力を評価するためのデータセットは公開されていない。 多様なユーザプロファイルを作成する合成データ生成パイプラインと、人間の活動をシミュレートするプライベートドキュメントを導入する。
• 参考スコア（独自算出の注目度）: 76.21047984886273
• License:
• Abstract: Personalization is critical in AI assistants, particularly in the context of private AI models that work with individual users. A key scenario in this domain involves enabling AI models to access and interpret a user's private data (e.g., conversation history, user-AI interactions, app usage) to understand personal details such as biographical information, preferences, and social connections. However, due to the sensitive nature of such data, there are no publicly available datasets that allow us to assess an AI model's ability to understand users through direct access to personal information. To address this gap, we introduce a synthetic data generation pipeline that creates diverse, realistic user profiles and private documents simulating human activities. Leveraging this synthetic data, we present PersonaBench, a benchmark designed to evaluate AI models' performance in understanding personal information derived from simulated private user data. We evaluate Retrieval-Augmented Generation (RAG) pipelines using questions directly related to a user's personal information, supported by the relevant private documents provided to the models. Our results reveal that current retrieval-augmented AI models struggle to answer private questions by extracting personal information from user documents, highlighting the need for improved methodologies to enhance personalization capabilities in AI.
• Abstract（参考訳）: パーソナライゼーションは、AIアシスタント、特に個々のユーザーと連携するプライベートAIモデルのコンテキストにおいて重要である。 このドメインの重要なシナリオは、AIモデルがユーザのプライベートデータ(例えば、会話履歴、ユーザとAIのインタラクション、アプリ使用法)にアクセスし、解釈して、伝記情報、好み、社会的つながりなどの個人的な詳細を理解することを可能にすることである。 しかし、そのようなデータのセンシティブな性質のため、個人情報に直接アクセスすることで、AIモデルのユーザ理解能力を評価できるデータセットは公開されていない。 このギャップに対処するために、多様な現実的なユーザプロファイルを生成する合成データ生成パイプラインと、人間の活動をシミュレートするプライベートドキュメントを導入する。 この合成データを活用することで、シミュレーションされた個人データから得られた個人情報を理解するために、AIモデルの性能を評価するために設計されたベンチマークであるPersonaBenchを提示する。 我々は,ユーザの個人情報に直接関連した質問をモデルに提供された関連するプライベート文書によって支援して,検索型拡張生成(RAG)パイプラインの評価を行う。 その結果、現在の検索強化AIモデルは、ユーザ文書から個人情報を抽出することで、個人化能力を高めるための方法論の改善の必要性を強調しながら、プライベートな疑問に答えることに苦慮していることが明らかとなった。

関連論文リスト

• Personalized Graph-Based Retrieval for Large Language Models [51.7278897841697]
  ユーザ中心の知識グラフを利用してパーソナライゼーションを強化するフレームワークを提案する。 構造化されたユーザ知識を直接検索プロセスに統合し、ユーザ関連コンテキストにプロンプトを拡大することにより、PGraphはコンテキスト理解と出力品質を向上させる。 また,ユーザ履歴が不足あるいは利用できない実環境において,パーソナライズされたテキスト生成タスクを評価するために設計された,パーソナライズドグラフベースのテキスト生成ベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-04T01:46:49Z)
• Survey of User Interface Design and Interaction Techniques in Generative AI Applications [79.55963742878684]
  我々は,デザイナやディベロッパの参照として使用できる,さまざまなユーザインタラクションパターンのコンペレーションを作ることを目指している。 また、生成AIアプリケーションの設計についてもっと学ぼうとする人たちの参入障壁を低くしようと努力しています。
  論文  参考訳（メタデータ） (2024-10-28T23:10:06Z)
• CI-Bench: Benchmarking Contextual Integrity of AI Assistants on Synthetic Data [7.357348564300953]
  CI-Benchは、モデル推論中に個人情報を保護するAIアシスタントの能力を評価するための包括的なベンチマークである。 対話やメールを含む自然なコミュニケーションを生成するための,新しい,スケーラブルなマルチステップデータパイプラインを提案する。 我々は、AIアシスタントを定式化し、評価し、パーソナルアシスタントタスクに向けたさらなる研究と注意深いトレーニングの必要性を実証する。
  論文  参考訳（メタデータ） (2024-09-20T21:14:36Z)
• Chatting Up Attachment: Using LLMs to Predict Adult Bonds [0.0]
  GPT-4とClaude 3 Opusを使用して、さまざまなプロファイル、子供時代の記憶、アタッチメントスタイルを持つ大人をシミュレートするエージェントを作成します。 我々は,同一の面接プロトコルを施行し,精神保健専門家によって分析・ラベル付けされた9人のヒトの転写データセットを用いて,我々のモデルを評価した。 以上の結果から,合成データのみを用いたモデルトレーニングは,人間のデータを用いたモデルトレーニングに匹敵する性能を発揮することが示唆された。
  論文  参考訳（メタデータ） (2024-08-31T04:29:19Z)
• Collection, usage and privacy of mobility data in the enterprise and public administrations [55.2480439325792]
  個人のプライバシーを守るためには、匿名化などのセキュリティ対策が必要である。 本研究では,現場における実践の洞察を得るために,専門家によるインタビューを行った。 我々は、一般的には最先端の差分プライバシー基準に準拠しない、使用中のプライバシー強化手法を調査した。
  論文  参考訳（メタデータ） (2024-07-04T08:29:27Z)
• Considerations for Ethical Speech Recognition Datasets [0.799536002595393]
  自動音声認識をケーススタディとして使用し、倫理的音声データセットが責任あるAIアプリケーションに対して持つべき特性について検討する。 トレーニングされたモデルを改善するために必要な多様性の問題、包括的プラクティス、必要な考慮事項を紹介します。 我々は、データ対象の法的・プライバシー保護、ユーザ人口統計とニーズに応じたターゲットデータサンプリング、モデル故障時の説明可能性と説明責任を保証する適切なメタデータについて論じる。
  論文  参考訳（メタデータ） (2023-05-03T12:38:14Z)
• Participatory Personalization in Classification [8.234011679612436]
  我々は、個人が予測時にパーソナライズをオプトインできる、参加型システムと呼ばれる分類モデルのファミリーを導入する。 臨床予測タスクにおける参加システムに関する総合的な実証的研究を行い、パーソナライズとインキュベーションのための共通のアプローチでそれらをベンチマークする。 その結果、参加型システムは、個人データを報告するグループ全体のパフォーマンスとデータ利用を改善しつつ、同意を容易にし、情報提供できることを示した。
  論文  参考訳（メタデータ） (2023-02-08T04:24:19Z)
• Privacy-Preserving Machine Learning for Collaborative Data Sharing via Auto-encoder Latent Space Embeddings [57.45332961252628]
  データ共有プロセスにおけるプライバシ保護機械学習は、極めて重要なタスクである。 本稿では、オートエンコーダによる表現学習を用いて、プライバシーを保護した組込みデータを生成する革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-10T17:36:58Z)
• Differentially Private Language Models for Secure Data Sharing [19.918137395199224]
  本稿では,生成言語モデルを個別に学習し,その結果を抽出する方法について述べる。 自然言語のプロンプトと新しいプロンプトミスマッチの損失を用いることで、高度に正確で流動的なテキストデータセットを作成できる。 我々は、我々の合成データセットが元のデータから情報を漏らさず、言語質が高いことを示す徹底的な実験を行う。
  論文  参考訳（メタデータ） (2022-10-25T11:12:56Z)
• Towards Personalized Answer Generation in E-Commerce via Multi-Perspective Preference Modeling [62.049330405736406]
  Eコマースプラットフォーム上での製品質問回答(PQA)は、インテリジェントオンラインショッピングアシスタントとして機能するため、注目を集めている。 なぜなら、多くの顧客は、自分でのみカスタマイズされた情報でパーソナライズされた回答を見たいと思っているからです。 PQAにおけるパーソナライズされた回答を生成するための,新しいマルチパースペクティブなユーザ嗜好モデルを提案する。
  論文  参考訳（メタデータ） (2021-12-27T07:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。