論文の概要: From Guessing to Asking: An Approach to Resolving the Persona Knowledge Gap in LLMs during Multi-Turn Conversations

• arxiv url: http://arxiv.org/abs/2503.12556v1
• Date: Sun, 16 Mar 2025 15:55:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:36:06.415684
• Title: From Guessing to Asking: An Approach to Resolving the Persona Knowledge Gap in LLMs during Multi-Turn Conversations
• Title（参考訳）: 指導から質問へ:多言語会話におけるLLMにおけるペルソナ知識ギャップの解消へのアプローチ
• Authors: Sarvesh Baskar, Tanmay Tulsidas Verelakar, Srinivasan Parthasarathy, Manas Gaur,
• Abstract要約: 本研究では,ペルソナの知識ギャップ,モデルの内的理解と一貫性とパーソナライズされた会話に必要な知識との相違について紹介する。 本稿では,ペルソナの知識ギャップを動的に検出・解決する新しいフレームワークであるCPER(Conversation Preference Elicitation and Recommendation)を提案する。 CPERは、嗜好抽出のためのコンテキスト理解モジュール、不確実性を計測し、ペルソナアライメントを精製する動的フィードバックモジュール、蓄積されたユーザコンテキストに基づいて応答を適応するペルソナ駆動応答生成モジュールの3つの主要なモジュールで構成されている。
• 参考スコア（独自算出の注目度）: 11.958380211411386
• License:
• Abstract: In multi-turn dialogues, large language models (LLM) face a critical challenge of ensuring coherence while adapting to user-specific information. This study introduces the persona knowledge gap, the discrepancy between a model's internal understanding and the knowledge required for coherent, personalized conversations. While prior research has recognized these gaps, computational methods for their identification and resolution remain underexplored. We propose Conversation Preference Elicitation and Recommendation (CPER), a novel framework that dynamically detects and resolves persona knowledge gaps using intrinsic uncertainty quantification and feedback-driven refinement. CPER consists of three key modules: a Contextual Understanding Module for preference extraction, a Dynamic Feedback Module for measuring uncertainty and refining persona alignment, and a Persona-Driven Response Generation module for adapting responses based on accumulated user context. We evaluate CPER on two real-world datasets: CCPE-M for preferential movie recommendations and ESConv for mental health support. Using A/B testing, human evaluators preferred CPER's responses 42% more often than baseline models in CCPE-M and 27% more often in ESConv. A qualitative human evaluation confirms that CPER's responses are preferred for maintaining contextual relevance and coherence, particularly in longer (12+ turn) conversations.
• Abstract（参考訳）: マルチターン対話において、大きな言語モデル(LLM)は、ユーザ固有の情報に適応しながらコヒーレンスを確保するという重要な課題に直面している。 本研究は,ペルソナの知識ギャップ,モデルの内的理解と一貫性とパーソナライズされた会話に必要な知識との相違について紹介する。 以前の研究ではこれらのギャップが認識されていたが、それらの同定と解決のための計算方法はまだ未探索のままである。 本稿では,本質的な不確実性定量化とフィードバック駆動型精錬を用いて,ペルソナの知識ギャップを動的に検出し,解決する新しいフレームワークであるConversation Preference Elicitation and Recommendation(CPER)を提案する。 CPERは、嗜好抽出のためのコンテキスト理解モジュール、不確実性を計測し、ペルソナアライメントを精製する動的フィードバックモジュール、蓄積されたユーザコンテキストに基づいて応答を適応するペルソナ駆動応答生成モジュールの3つの主要なモジュールで構成されている。 我々はCPERを2つの実世界のデータセットで評価する: CCPE-Mは優先的な映画レコメンデーション、ESConvはメンタルヘルスサポートである。 A/Bテストを用いて、人間の評価者は、CCPE-MのベースラインモデルよりもCPERの反応が42%、ESConvの27%多かった。 定性的な人間の評価は、CPERの反応が文脈的関連性や一貫性を維持するために好まれていることを確認する。

関連論文リスト

• PersoBench: Benchmarking Personalized Response Generation in Large Language Models [6.8046587254152735]
  我々はペルソベンチ(PersoBench)という,ペルソベンチ(PersoBench)という,個人認識対話生成における大規模言語モデル(LLM)のパーソナライズ能力を評価するベンチマークを提案する。 本分析は, 3つの人格認識データセットを用いて, 流布度, 多様性, 一貫性, パーソナライゼーションなど, 応答品質の多次元性を評価する。
  論文  参考訳（メタデータ） (2024-10-04T07:29:41Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• FCC: Fusing Conversation History and Candidate Provenance for Contextual Response Ranking in Dialogue Systems [53.89014188309486]
  複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。 会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-31T23:58:28Z)
• Improving Personality Consistency in Conversation by Persona Extending [22.124187337032946]
  本稿では,Persona Retrieval Model(PRM)とPosterior-Scored Transformer(PS-Transformer)の2つのサブコンポーネントからなる新しい検索・予測パラダイムを提案する。 提案モデルでは,自動測定と人的評価の両面で大幅に改善されている。
  論文  参考訳（メタデータ） (2022-08-23T09:00:58Z)
• Bilateral Personalized Dialogue Generation with Dynamic Persona-Aware Fusion [3.5433229509828155]
  マルチタスク・トランスファー・ラーニングによる動的ペルソナ・アウェア・フュージョンを用いた双方向対話生成手法を提案する。 実験の結果,提案手法は自動評価と手動評価の両面で,いくつかの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-06-15T03:21:19Z)
• Partner Matters! An Empirical Study on Fusing Personas for Personalized Response Selection in Retrieval-Based Chatbots [51.091235903442715]
  本稿では,自己とパートナーの話者が応答選択の課題に与える影響について検討する。 4つのペルソナ融合戦略が設計されており、異なる方法でペルソナがコンテキストや応答と相互作用することを前提としている。 Persona-Chatデータセットに関する実証研究は、パートナーペルソナが応答選択の精度を向上させることができることを示している。
  論文  参考訳（メタデータ） (2021-05-19T10:32:30Z)
• Dialogue History Matters! Personalized Response Selectionin Multi-turn Retrieval-based Chatbots [62.295373408415365]
  本稿では,コンテキスト応答マッチングのためのパーソナライズドハイブリッドマッチングネットワーク(phmn)を提案する。 1) ユーザ固有の対話履歴からパーソナライズされた発話行動を付加的なマッチング情報として抽出する。 ユーザ識別による2つの大規模データセット,すなわちパーソナライズされた対話 Corpus Ubuntu (P-Ubuntu) とパーソナライズされたWeiboデータセット (P-Weibo) のモデルを評価する。
  論文  参考訳（メタデータ） (2021-03-17T09:42:11Z)
• Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term Importance Estimation and Neural Query Rewriting [56.268862325167575]
  マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。 本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。 前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。 後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
  論文  参考訳（メタデータ） (2020-05-05T14:30:20Z)
• A Neural Topical Expansion Framework for Unstructured Persona-oriented Dialogue Generation [52.743311026230714]
  Persona Exploration and Exploitation (PEE)は、事前に定義されたユーザペルソナ記述を意味論的に相関したコンテンツで拡張することができる。 PEEはペルソナ探索とペルソナ搾取という2つの主要なモジュールで構成されている。 提案手法は, 自動評価と人的評価の両面で, 最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2020-02-06T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。