論文の概要: ProfiLLM: An LLM-Based Framework for Implicit Profiling of Chatbot Users

• arxiv url: http://arxiv.org/abs/2506.13980v1
• Date: Mon, 16 Jun 2025 20:33:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.23801
• Title: ProfiLLM: An LLM-Based Framework for Implicit Profiling of Chatbot Users
• Title（参考訳）: ProfiLLM: チャットボットユーザの暗黙のプロファイリングのためのLLMベースのフレームワーク
• Authors: Shahaf David, Yair Meidan, Ido Hersko, Daniel Varnovitzky, Dudu Mimran, Yuval Elovici, Asaf Shabtai,
• Abstract要約: ProfiLLMはチャットボットのインタラクションを通じて暗黙的で動的なユーザープロファイリングを行うための新しいフレームワークである。 ProfiLLMのITSec適応版であるProfiLLM[ITSec]を開発し,その性能を1,760人の人間的な会話で評価した。 その結果、ProfiLLM[ITSec]はITSecプロファイルを迅速かつ正確に推測し、単一のプロンプトの後に実際のスコアと予測スコアのギャップを最大55～65%削減した。
• 参考スコア（独自算出の注目度）: 21.84873191775677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite significant advancements in conversational AI, large language model (LLM)-powered chatbots often struggle with personalizing their responses according to individual user characteristics, such as technical expertise, learning style, and communication preferences. This lack of personalization is particularly problematic in specialized knowledge-intense domains like IT/cybersecurity (ITSec), where user knowledge levels vary widely. Existing approaches for chatbot personalization primarily rely on static user categories or explicit self-reported information, limiting their adaptability to an evolving perception of the user's proficiency, obtained in the course of ongoing interactions. In this paper, we propose ProfiLLM, a novel framework for implicit and dynamic user profiling through chatbot interactions. This framework consists of a taxonomy that can be adapted for use in diverse domains and an LLM-based method for user profiling in terms of the taxonomy. To demonstrate ProfiLLM's effectiveness, we apply it in the ITSec domain where troubleshooting interactions are used to infer chatbot users' technical proficiency. Specifically, we developed ProfiLLM[ITSec], an ITSec-adapted variant of ProfiLLM, and evaluated its performance on 1,760 human-like chatbot conversations from 263 synthetic users. Results show that ProfiLLM[ITSec] rapidly and accurately infers ITSec profiles, reducing the gap between actual and predicted scores by up to 55--65\% after a single prompt, followed by minor fluctuations and further refinement. In addition to evaluating our new implicit and dynamic profiling framework, we also propose an LLM-based persona simulation methodology, a structured taxonomy for ITSec proficiency, our codebase, and a dataset of chatbot interactions to support future research.
• Abstract（参考訳）: 対話型AIの大幅な進歩にもかかわらず、大きな言語モデル(LLM)を搭載したチャットボットは、技術的専門知識や学習スタイル、コミュニケーションの好みなど、個々のユーザ特性に応じて応答をパーソナライズすることに苦労することが多い。 このパーソナライゼーションの欠如は、IT/サイバーセキュリティ(ITSec)のような専門知識専門分野において特に問題となる。 チャットボットのパーソナライゼーションに対する既存のアプローチは主に静的なユーザカテゴリや明示的な自己申告情報に依存しており、継続的な対話の過程で得られたユーザの習熟度に対する適応性を制限する。 本稿では,チャットボットインタラクションによる暗黙的および動的ユーザプロファイリングのための新しいフレームワークであるProfiLLMを提案する。 この枠組みは、多様な領域での使用に適応可能な分類法と、分類学の観点からのユーザプロファイリングのためのLLMベースの方法から構成される。 ProfiLLMの有効性を示すために、チャットボットの技術的熟練度を推測するためにトラブルシューティングインタラクションを使用するITSecドメインに適用する。 具体的には,ProfiLLMのITSec対応版であるProfiLLM[ITSec]を開発した。 その結果、ProfiLLM[ITSec]はITSecプロファイルを迅速かつ正確に推測し、単一のプロンプトの後に実際のスコアと予測スコアのギャップを最大55～65倍に減らし、その後に小さな変動とさらなる改善が続いた。 新たな暗黙的かつダイナミックなプロファイリングフレームワークの評価に加えて、LLMベースのペルソナシミュレーション手法、ITSecの熟練度のための構造化分類法、コードベース、将来の研究を支援するチャットボットインタラクションのデータセットも提案する。

関連論文リスト

• SynthesizeMe! Inducing Persona-Guided Prompts for Personalized Reward Models in LLMs [54.45812414534713]
  本稿では,パーソナライズされた報酬モデリングのためのユーザインタラクションから合成ユーザペルソナを誘導するアプローチであるSynthesizeMeを紹介する。 また、SynthesizeMeによるプロンプトの使用により、パーソナライズされたプロンプトがArenaで4.4%向上することを示した。
  論文  参考訳（メタデータ） (2025-06-05T21:23:16Z)
• A Personalized Conversational Benchmark: Towards Simulating Personalized Conversations [112.81207927088117]
  PersonaConvBenchは、大規模言語モデル(LLM)とのマルチターン会話におけるパーソナライズされた推論と生成を評価するためのベンチマークである。 我々は,複数の商用およびオープンソース LLM を統一的なプロンプト設定でベンチマークし,パーソナライズされた履歴を組み込むことで大幅な性能向上が得られることを観察した。
  論文  参考訳（メタデータ） (2025-05-20T09:13:22Z)
• Enhancing User-Oriented Proactivity in Open-Domain Dialogues with Critic Guidance [35.15965694815852]
  オープンドメイン対話システムは自然な会話を生み出すことを目的としている。 既存の大きな言語モデル(LLM)は、ユーザのチャットの好みを積極的に理解できない。 ユーザ指向のプロアクティブ性を高めるために,ユーザ指向プロアクティブ(UPC)を提案する。
  論文  参考訳（メタデータ） (2025-05-18T09:59:22Z)
• Know Me, Respond to Me: Benchmarking LLMs for Dynamic User Profiling and Personalized Responses at Scale [51.9706400130481]
  大規模言語モデル(LLM)は、幅広いタスクでユーザのためのパーソナライズされたアシスタントとして登場した。 PERSONAMEMは180以上のユーザ-LLMインタラクション履歴を持つキュレートされたユーザプロファイルを備えている。 LLMチャットボットのユーザプロファイルの現在状況に応じて,最も適切な応答を識別する能力を評価する。
  論文  参考訳（メタデータ） (2025-04-19T08:16:10Z)
• FSPO: Few-Shot Preference Optimization of Synthetic Preference Data in LLMs Elicits Effective Personalization to Real Users [111.56469697145519]
  メタ学習問題として報酬モデルを再設計するFew-Shot Preference Optimizationを提案する。 このフレームワークでは、LDMはそのユーザからいくつかのラベル付けされた好みを通じてユーザへの迅速な適応を学び、パーソナライズされた報酬関数を構築する。 公開されているLLMを用いて100万以上の合成パーソナライズされた好みを生成する。 本研究は,映画レビュー,教育背景に基づく教育適応,一般質問応答の3分野を対象に,最大1,500人の総合ユーザを対象に,パーソナライズされたオープンエンド世代に対するFSPOの評価を行った。
  論文  参考訳（メタデータ） (2025-02-26T17:08:46Z)
• Know You First and Be You Better: Modeling Human-Like User Simulators via Implicit Profiles [37.43150003866563]
  我々は,人間と機械のインタラクションから暗黙のユーザプロファイルを推論し,パーソナライズされたリアルな対話をシミュレートする,インプリシットプロファイル付きユーザシミュレータ(USP)を紹介する。 USPは、同等の一貫性を維持しながら、信頼性と多様性の点で、強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-02-26T09:26:54Z)
• Improving Ontology Requirements Engineering with OntoChat and Participatory Prompting [3.3241053483599563]
  OREは主に、ドメインの専門家からユーザ要求を集めるために、インタビューや共同フォーラムのような手動の手法に依存しています。 Current OntoChatは,大規模な言語モデル(LLM)を使用してプロセスを合理化するための,ORE用のフレームワークを提供する。 本研究は,ユーザストーリのペルソナ,目標,シナリオ,サンプルデータ,データリソースの作成と精錬に重点を置いた,ユーザクエリに基づく事前定義されたプロンプトテンプレートを生成する。
  論文  参考訳（メタデータ） (2024-08-09T19:21:14Z)
• TAROT: A Hierarchical Framework with Multitask Co-Pretraining on Semi-Structured Data towards Effective Person-Job Fit [60.31175803899285]
  本稿では,階層型マルチタスク協調訓練フレームワークであるTAROTを提案する。 TAROTは、プロファイルとジョブにおける半構造化テキストをターゲットにしており、取得したセマンティック情報を各レベルで制限するために、複数のきめ細かい事前訓練タスクと共に保持されている。
  論文  参考訳（メタデータ） (2024-01-15T07:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。