論文の概要: UXBench Pro: Benchmarking Personalized User Experience in Multi-Turn Dialogue Interactions
- arxiv url: http://arxiv.org/abs/2610.11638v1
- Date: Thu, 08 Oct 2026 10:15:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.944767
- Title: UXBench Pro: Benchmarking Personalized User Experience in Multi-Turn Dialogue Interactions
- Title（参考訳）: UXBench Pro: マルチターン対話インタラクションにおけるパーソナライズされたユーザエクスペリエンスのベンチマーク
- Abstract要約: 12のタスクシナリオと82のドメインにわたる実際のユーザインタラクションから導出される1000のテストインスタンスからなるUXBench Proを提案する。
よりリッチな評価インサイトを提供するために,第3者判定のためのパーソナライズされたユーザリワードモデル(URM)と,マルチターンインタラクションが可能なユーザシミュレータであるSim4Evalを併用し,4つの認知状態次元にまたがるファーストパーソナライズ評価を行う,二重パースペクティブパラダイムを導入する。
- 参考スコア（独自算出の注目度）: 23.02329225423802
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluating user experience (UX) with automated computational methods has gained increasing attention, supported by empirical evidence from UXBench. However, binary preference prediction provides limited insight, while relying on a single user-agnostic reward model overlooks the inherent heterogeneity of users, whose expectations can differ substantially. In this paper, we present UXBench Pro, comprising 1{,}000 test instances derived from real user interactions across 12 task scenarios and 82 domains. Each instance is paired with a FACTORS user profile that characterizes the user through seven interpretable behavioral facets, differentiating user groups. To provide richer evaluation insights, we introduce a dual-perspective paradigm that combines a personalized User Reward Model (URM) for third-person judgment with Sim4Eval, a user simulator that enables multi-turn interactions and provides first-person evaluation across four cognitive state dimensions. To assess the reliability of these based evaluators, we further introduce two meta-benchmarks, URMBench and USimBench, that evaluate how faithfully they reproduce real human preferences and behaviors. Extensive experiments reveal seven key findings that highlight the importance of user modeling and multi-perspective evaluation, offering a fresh perspective on user-centric benchmarking and motivating personalized model optimization.
- Abstract（参考訳）: UXBenchの実証的な証拠により,自動計算手法によるユーザエクスペリエンス(UX)の評価が注目されている。
しかし、二分選好予測は限定的な洞察を与える一方で、単一のユーザ非依存の報酬モデルに依存して、期待が著しく異なるユーザ固有の不均一性を見落としている。
本稿では,12のタスクシナリオと82のドメインにわたる実際のユーザインタラクションから1{,}000のテストインスタンスを抽出したUXBench Proを提案する。
各インスタンスはFACTORSユーザプロファイルとペアになって,解釈可能な7つの動作面を通じてユーザを特徴付けることで,ユーザグループを識別する。
よりリッチな評価インサイトを提供するために,第3者判定のためのパーソナライズされたユーザリワードモデル(URM)と,マルチターンインタラクションが可能なユーザシミュレータであるSim4Evalを併用し,4つの認知状態次元にまたがるファーストパーソナライズ評価を行う,二重パースペクティブパラダイムを導入する。
これらの評価器の信頼性を評価するために,URMBenchとUSimBenchという2つのメタベンチマークを導入する。
大規模な実験では、ユーザモデリングとマルチパースペクティブ評価の重要性を強調し、ユーザ中心のベンチマークとパーソナライズされたモデル最適化の新たな視点を提供する7つの重要な発見が明らかになった。
関連論文リスト
- UXBench: Benchmarking User Experience in AI Assistants [39.65761394260019]
UXBenchはユーザ中心のベンチマークとしては初めての,実際のユーザフィードバック信号に基づくベンチマークです。
データセットは8つのシナリオ、83のドメイン、さまざまな障害パターンを含む、実際のユーザ分布を詳細に反映している。
ユーザフィードバック予測は学習可能な能力であり,Wild のフィードバック信号からトレーニングした報酬モデルにより,精度の高い精度が得られることを示す。
論文 参考訳（メタデータ） (2026-06-08T14:44:01Z) - BehaviorBench: Modeling Real-World User Decisions from Behavioral Traces [53.55407626944686]
textscBehaviorBenchは、実世界の行動トレースからパーソナライズされた意思決定モデリングを評価するためのベンチマークである。
textscBehaviorBenchは、公開市場とオンチェーンの記録からウォレットレベルの意思決定履歴を再構築する。
2,000以上の評価ウォレットで、ベンチマークには141,445のBeliefインスタンスと1,485,972のTradeインスタンスが含まれている。
論文 参考訳（メタデータ） (2026-06-01T19:04:36Z) - Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。
静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。
実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
論文 参考訳（メタデータ） (2026-05-29T17:00:55Z) - VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。
結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
論文 参考訳（メタデータ） (2026-05-26T15:07:38Z) - From Feelings to Metrics: Understanding and Formalizing How Users Vibe-Test LLMs [48.36707944399574]
バイブテストが実際にどのように機能するかを研究し、その後、体系的な分析を支援するために形式化する。
コーディングベンチマークの実験では、パーソナライズされたプロンプトとユーザ認識評価を組み合わせることで、どのモデルが好まれるかを変更できることがわかった。
論文 参考訳（メタデータ） (2026-04-15T17:57:08Z) - Through Their Eyes: Fixation-aligned Tuning for Personalized User Emulation [11.879346281714453]
視覚言語モデル(VLM)の視覚的注意とユーザ固有の視線パターンを一致させることで、シミュレーションの精度が向上するかどうかを検討する。
提案手法はまず,解釈可能性演算子を用いてVLMの内部視覚的注意を探索し,スロットレベルの関連性分布を求める。
3つの解釈可能性に基づく探索演算子と2つのアーキテクチャ的に異なるVLMバックボーンを用いた実験は、アテンションアライメントとクリック予測精度の両面で一貫した改善を示している。
論文 参考訳（メタデータ） (2026-04-10T14:38:45Z) - P-GenRM: Personalized Generative Reward Model with Test-time User-based Scaling [66.55381105691818]
P-GenRM(Personalized Generative Reward Model)を提案する。
P-GenRMは、選好信号を適応的なペルソナとスコアリングルーリックを導出する構造化評価チェーンに変換する。
さらにユーザをユーザプロトタイプにクラスタリングし、二重粒度スケーリングメカニズムを導入している。
論文 参考訳（メタデータ） (2026-02-12T16:07:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。