論文の概要: IP-Dialog: Evaluating Implicit Personalization in Dialogue Systems with Synthetic Data

• arxiv url: http://arxiv.org/abs/2506.02449v1
• Date: Tue, 03 Jun 2025 05:14:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.28609
• Title: IP-Dialog: Evaluating Implicit Personalization in Dialogue Systems with Synthetic Data
• Title（参考訳）: IP-ダイアログ:合成データを用いた対話システムにおける暗黙のパーソナライゼーションの評価
• Authors: Bo Peng, Zhiheng Wang, Heyang Gong, Chaochao Lu,
• Abstract要約: 現代の対話システムでは,会話の背景を暗黙的に推測する能力が不可欠である。 従来のデータセット構築手法は、労働集約的で、リソース需要があり、プライバシーの懸念が高まる。 本稿では,自動合成データ生成のための新しい手法を提案し,Implicit Personalized Dialogueベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 7.1268134621069805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In modern dialogue systems, the ability to implicitly infer user backgrounds from conversations and leverage this information for personalized assistance is crucial. However, the scarcity of high-quality data remains a fundamental challenge to evaluating and improving this capability. Traditional dataset construction methods are labor-intensive, resource-demanding, and raise privacy concerns. To address these issues, we propose a novel approach for automatic synthetic data generation and introduce the Implicit Personalized Dialogue (IP-Dialog) benchmark along with a training dataset, covering 10 tasks and 12 user attribute types. Additionally, we develop a systematic evaluation framework with four metrics to assess both attribute awareness and reasoning capabilities. We further propose five causal graphs to elucidate models' reasoning pathways during implicit personalization. Extensive experiments yield insightful observations and prove the reliability of our dataset.
• Abstract（参考訳）: 現代の対話システムでは、会話からユーザのバックグラウンドを暗黙的に推測し、パーソナライズされた支援のためにこの情報を活用する能力が不可欠である。 しかし、高品質なデータの不足は、この能力を評価し改善するための根本的な課題である。 従来のデータセット構築手法は、労働集約的で、リソース需要があり、プライバシーの懸念が高まる。 これらの課題に対処するため、我々は、自動合成データ生成のための新しいアプローチを提案し、トレーニングデータセットとともに、Implicit Personalized Dialogue (IP-Dialog)ベンチマークを導入し、10のタスクと12のユーザ属性タイプをカバーする。 さらに,属性認識と推論能力の両方を評価するための4つの指標を持つ体系的評価フレームワークを開発した。 さらに、暗黙のパーソナライゼーションにおいて、モデルの推論経路を解明する5つの因果グラフを提案する。 大規模な実験により、洞察力のある観察結果が得られ、データセットの信頼性が証明される。

関連論文リスト

• PersonaBench: Evaluating AI Models on Understanding Personal Information through Accessing (Synthetic) Private User Data [76.21047984886273]
  パーソナライゼーションは、AIアシスタント、特に個々のユーザーと連携するプライベートAIモデルのコンテキストにおいて重要である。 このようなデータのセンシティブな性質のため、AIモデルのユーザ理解能力を評価するためのデータセットは公開されていない。 多様なユーザプロファイルを作成する合成データ生成パイプラインと、人間の活動をシミュレートするプライベートドキュメントを導入する。
  論文  参考訳（メタデータ） (2025-02-28T00:43:35Z)
• Dialogue Language Model with Large-Scale Persona Data Engineering [10.160626284195434]
  PPDSはオープンドメインのペルソナ対話システムであり、ペルソナの一貫性を高めるためにペルソナ対話データセットに広範囲な生成前トレーニングを利用する。 本研究では,自律的かつ高精度な対話データセット生成を目的としたペルソナ抽出モデルを提案する。 また、構築されたデータセットに固有の無効なペルソナバイアスに対処するために、先駆的なペルソナ拡張手法を公表した。
  論文  参考訳（メタデータ） (2024-12-12T07:49:06Z)
• CI-Bench: Benchmarking Contextual Integrity of AI Assistants on Synthetic Data [7.357348564300953]
  CI-Benchは、モデル推論中に個人情報を保護するAIアシスタントの能力を評価するための包括的なベンチマークである。 対話やメールを含む自然なコミュニケーションを生成するための,新しい,スケーラブルなマルチステップデータパイプラインを提案する。 我々は、AIアシスタントを定式化し、評価し、パーソナルアシスタントタスクに向けたさらなる研究と注意深いトレーニングの必要性を実証する。
  論文  参考訳（メタデータ） (2024-09-20T21:14:36Z)
• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  データ構築とモデルチューニングを改善するためのフレームワークPersLLMを提案する。 データ利用が不十分な場合には、Chain-of-Thoughtプロンプトやアンチインダクションといった戦略を取り入れます。 厳密な振舞いパターンを設計し,モデルの性格の特異性とダイナミズムを高めるために自動DPOを導入する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• Recent Trends in Personalized Dialogue Generation: A Review of Datasets, Methodologies, and Evaluations [25.115319934091282]
  本稿では,近年の対話生成のパーソナライズ化の状況について調査する。 22のデータセットをカバーし、ベンチマークデータセットと、追加機能に富んだ新しいデータセットを強調します。 2021年から2023年の間、トップカンファレンスから17のセミナー作品を分析し、5つの異なるタイプの問題を識別する。
  論文  参考訳（メタデータ） (2024-05-28T09:04:13Z)
• Dataset Regeneration for Sequential Recommendation [69.93516846106701]
  DR4SRと呼ばれるモデルに依存しないデータセット再生フレームワークを用いて、理想的なトレーニングデータセットを開発するためのデータ中心のパラダイムを提案する。 データ中心のパラダイムの有効性を示すために、我々はフレームワークを様々なモデル中心の手法と統合し、4つの広く採用されているデータセット間で大きなパフォーマンス改善を観察する。
  論文  参考訳（メタデータ） (2024-05-28T03:45:34Z)
• AUGUST: an Automatic Generation Understudy for Synthesizing Conversational Recommendation Datasets [56.052803235932686]
  本稿では,大規模かつ高品質なレコメンデーションダイアログを生成する新しい自動データセット合成手法を提案する。 i)従来のレコメンデーションデータセットからの豊富なパーソナライズされたユーザプロファイル、(ii)知識グラフからの豊富な外部知識、(iii)人間対人間会話レコメンデーションデータセットに含まれる会話能力。
  論文  参考訳（メタデータ） (2023-06-16T05:27:14Z)
• FCC: Fusing Conversation History and Candidate Provenance for Contextual Response Ranking in Dialogue Systems [53.89014188309486]
  複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。 会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-31T23:58:28Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。