論文の概要: Investigating Thematic Patterns and User Preferences in LLM Interactions using BERTopic

• arxiv url: http://arxiv.org/abs/2510.07557v1
• Date: Wed, 08 Oct 2025 21:13:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.740466
• Title: Investigating Thematic Patterns and User Preferences in LLM Interactions using BERTopic
• Title（参考訳）: BERTopicを用いたLCMインタラクションにおけるテーマパターンとユーザ嗜好の検討
• Authors: Abhay Bhandarkar, Gaurav Mishra, Khushi Juchani, Harsh Singhal,
• Abstract要約: 本研究では,Lumsys-chat-1mデータセットに対してBERTopicを適用した。 主な目的は、これらの会話におけるテーマパターンを明らかにし、ユーザの好みとの関係を調べることである。 トピックとモデル嗜好の関係を分析し,モデルとトピックのアライメントの傾向を明らかにした。
• 参考スコア（独自算出の注目度）: 4.087884819027264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study applies BERTopic, a transformer-based topic modeling technique, to the lmsys-chat-1m dataset, a multilingual conversational corpus built from head-to-head evaluations of large language models (LLMs). Each user prompt is paired with two anonymized LLM responses and a human preference label, used to assess user evaluation of competing model outputs. The main objective is uncovering thematic patterns in these conversations and examining their relation to user preferences, particularly if certain LLMs are consistently preferred within specific topics. A robust preprocessing pipeline was designed for multilingual variation, balancing dialogue turns, and cleaning noisy or redacted data. BERTopic extracted over 29 coherent topics including artificial intelligence, programming, ethics, and cloud infrastructure. We analysed relationships between topics and model preferences to identify trends in model-topic alignment. Visualization techniques included inter-topic distance maps, topic probability distributions, and model-versus-topic matrices. Our findings inform domain-specific fine-tuning and optimization strategies for improving real-world LLM performance and user satisfaction.
• Abstract（参考訳）: 本研究では,多言語対話型コーパスであるlmsys-chat-1mデータセットに対して,変換器を用いたトピックモデリング手法であるBERTopicを適用した。 各ユーザプロンプトには、2つの匿名LDM応答と、競合するモデル出力のユーザ評価に使用される人間の嗜好ラベルがペアリングされる。 主な目的は、これらの会話におけるテーマパターンを明らかにすることであり、特に特定のトピックにおいて特定のLLMが常に好まれている場合、ユーザの好みとの関係を調べることである。 堅牢な前処理パイプラインは、多言語変動、対話の切り替えのバランス、ノイズや修正されたデータのクリーニングのために設計された。 BERTopicは、人工知能、プログラミング、倫理、クラウドインフラストラクチャを含む29以上の一貫性のあるトピックを抽出した。 トピックとモデル嗜好の関係を分析し,モデルとトピックのアライメントの傾向を明らかにした。 可視化技術には、トピック間距離マップ、トピック確率分布、モデル-可逆-位相行列が含まれる。 本研究は,LLMの性能向上とユーザ満足度向上のために,ドメイン固有の微調整および最適化戦略について報告する。

関連論文リスト

• LLM-Assisted Topic Reduction for BERTopic on Social Media Data [0.22940141855172028]
  本稿では,話題生成のためのBERTopicと話題短縮のための大規模言語モデルを組み合わせたフレームワークを提案する。 3つのTwitter/Xデータセットと4つの異なる言語モデルにまたがるアプローチを評価した。
  論文  参考訳（メタデータ） (2025-09-18T20:59:11Z)
• A Personalized Conversational Benchmark: Towards Simulating Personalized Conversations [112.81207927088117]
  PersonaConvBenchは、大規模言語モデル(LLM)とのマルチターン会話におけるパーソナライズされた推論と生成を評価するためのベンチマークである。 我々は,複数の商用およびオープンソース LLM を統一的なプロンプト設定でベンチマークし,パーソナライズされた履歴を組み込むことで大幅な性能向上が得られることを観察した。
  論文  参考訳（メタデータ） (2025-05-20T09:13:22Z)
• Dynamic benchmarking framework for LLM-based conversational data capture [0.0]
  本稿では,大規模言語モデル(LLM)を評価するためのベンチマークフレームワークを提案する。 生成エージェントシミュレーションを統合して、情報抽出、コンテキスト認識、適応エンゲージメントといった重要次元のパフォーマンスを評価する。 その結果,不明瞭な応答を扱う場合,適応戦略によりデータの抽出精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2025-02-04T15:47:47Z)
• LLM-based Bi-level Multi-interest Learning Framework for Sequential Recommendation [54.396000434574454]
  本稿では,暗黙的行動と明示的意味論的視点を組み合わせた新しい多目的SRフレームワークを提案する。 Implicit Behavioral Interest ModuleとExplicit Semantic Interest Moduleの2つのモジュールが含まれている。 4つの実世界のデータセットの実験は、フレームワークの有効性と実用性を検証する。
  論文  参考訳（メタデータ） (2024-11-14T13:00:23Z)
• Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
  テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。 提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。 語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-11-04T06:07:53Z)
• An LLM Feature-based Framework for Dialogue Constructiveness Assessment [8.87747076871578]
  対話構築性評価に関する研究は、(i)個人が特定の行動をとること、議論に勝つこと、視点を変えること、またはオープンマインドネスを広げること、および(ii)そのような事例に対する対話に続く構成性の結果を予測することに焦点を当てている。 これらの目的は、解釈可能な特徴ベースモデルか、事前訓練された言語モデルのようなニューラルモデルのいずれかをトレーニングすることで達成できる。 特徴ベースとニューラルアプローチの強みを組み合わせた対話構築性評価のためのLLM特徴ベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-20T22:10:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。