論文の概要: PersonalQuery-Benchmark:Evaluating Retrieval Robustness to Personalized User Expression Differences

• arxiv url: http://arxiv.org/abs/2610.32164v1
• Date: Fri, 23 Oct 2026 04:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.392318
• Title: PersonalQuery-Benchmark:Evaluating Retrieval Robustness to Personalized User Expression Differences
• Title（参考訳）: パーソナライズされたユーザ表現差に対する検索ロバスト性の評価
• Abstract要約: パーソナライズされた表現の堅牢性を研究するためにPersonalQuery-Benchmarkを提案する。 PQBは、合計6,516のクエリインスタンスを持つ3つのAmazon製品ドメインをカバーする。 その結果,必要な情報が固定されている場合でも,個人化表現の違いが評価可能なランキングの変動を引き起こすことがわかった。
• 参考スコア（独自算出の注目度）: 40.472172071356816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing personalized information retrieval methods mainly model differences in user needs through user preferences and query intent, while paying little attention to the personalized expression differences that arise when different users express the same retrieval need. Existing real query data typically lack stable user identities, long-term expression histories, and intent-matched counterparts, making it difficult to systematically evaluate the impact of personalized expression differences on retrieval outcomes. To this end, we propose PersonalQuery-Benchmark (PQB). PQB models personalized syntactic expression and personalized writing errors from users' historical texts, constructs personalized syntactic expression queries and personalized writing-error queries, and validates benchmark quality through LLM assessment and independent human evaluation. PQB covers three Amazon product domains with 6,516 query instances in total, and is evaluated on five retrieval models representing lexical, learned sparse, dense bi-encoder, late-interaction, and hybrid architectures, together with two LLM-based ranking models. Results show that even when the information need is held fixed, personalized expression differences still induce measurable ranking variation; different retrieval models exhibit clearly different sensitivities to syntactic variation and writing-error variation, while higher overall retrieval effectiveness does not necessarily correspond to stronger robustness against expression variation. PQB provides a new benchmark and evaluation framework for systematically studying personalized expression robustness. The associated code and dataset are available at the following address: https://github.com/cpxjazz123/PersonalQuery-Benchmark.
• Abstract（参考訳）: 従来のパーソナライズされた情報検索手法は,ユーザの好みやクエリ意図を通じてユーザニーズの違いをモデル化する一方で,異なるユーザが同じ検索ニーズを表現した場合に生じるパーソナライズされた表現の違いにはほとんど注意を払わない。 既存のクエリデータには通常、安定したユーザID、長期表現履歴、意図にマッチしたデータがないため、パーソナライズされた表現の違いが検索結果に与える影響を体系的に評価することは困難である。 そこで我々はPersonalQuery-Benchmark (PQB)を提案する。 PQBモデルは、ユーザの過去のテキストから構文表現をパーソナライズし、エラーをパーソナライズし、パーソナライズした構文表現クエリとパーソナライズされた書き込みエラークエリを構築し、LCM評価と独立した人間評価を通じてベンチマーク品質を検証する。 PQBは、合計6,516のクエリインスタンスを持つ3つのAmazon製品ドメインをカバーし、LLMベースのランキングモデルとともに、語彙、学習されたスパース、密度の高いバイエンコーダ、遅延インタラクション、ハイブリッドアーキテクチャを表す5つの検索モデルで評価されている。 結果から,情報要求が一定であっても,個人別表現差は評価可能なランキング変動を誘導し,検索モデルの違いは,構文的変動や書込みエラーの変動に対して明らかに異なる感性を示す一方で,総合的な検索効率は,表現変動に対する強靭性に必ずしも対応しないことがわかった。 PQBはパーソナライズされた表現の堅牢性を体系的に研究するための新しいベンチマークと評価フレームワークを提供する。 関連するコードとデータセットは以下のアドレスで利用可能である。

関連論文リスト

• BehaviorBench: Modeling Real-World User Decisions from Behavioral Traces [53.55407626944686]
  textscBehaviorBenchは、実世界の行動トレースからパーソナライズされた意思決定モデリングを評価するためのベンチマークである。 textscBehaviorBenchは、公開市場とオンチェーンの記録からウォレットレベルの意思決定履歴を再構築する。 2,000以上の評価ウォレットで、ベンチマークには141,445のBeliefインスタンスと1,485,972のTradeインスタンスが含まれている。
  論文  参考訳（メタデータ） (2026-06-01T19:04:36Z)
• Personalize Before Retrieve: LLM-based Personalized Query Expansion for User-Centric Retrieval [34.298743064665395]
  Personalize Before Retrieve (PBR) は、ユーザ固有の信号を検索前にクエリ拡張に組み込むフレームワークである。 PBRは一貫して強力なベースラインを上回り、PersonaBenchはリトリーバー全体で最大10%の利益を得ている。
  論文  参考訳（メタデータ） (2025-10-10T02:24:09Z)
• A Generative Framework for Personalized Sticker Retrieval [73.57899194210141]
  我々はパーソナライズされたステッカー検索のための新しい生成フレームワークであるPEARLを提案する。 i) ユーザ固有のステッカー嗜好を符号化するために,識別的ユーザ表現を学習するための表現学習モデルを設計し, (ii) ユーザのクエリ意図に合致したステッカーを生成するために, 新たな意図認識学習目標を提案する。 オフライン評価とオンラインテストの両方による実証的な結果は、PEARLが最先端の手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2025-09-22T13:11:44Z)
• Show or Tell? Modeling the evolution of request-making in Human-LLM conversations [14.896858577447093]
  WildChatに基づいた211kのリアルタイムクエリのデータセットを作成し,解析する。 我々は,人間-LLMシナリオにおいて,要求作成のための言語に有意な差異を見出した。 クエリパターンは、単独のリクエストを強調した初期のものから、後でより多くのコンテキストを組み合わせるまで進化しています。
  論文  参考訳（メタデータ） (2025-08-02T06:08:37Z)
• A Personalized Conversational Benchmark: Towards Simulating Personalized Conversations [112.81207927088117]
  PersonaConvBenchは、大規模言語モデル(LLM)とのマルチターン会話におけるパーソナライズされた推論と生成を評価するためのベンチマークである。 我々は,複数の商用およびオープンソース LLM を統一的なプロンプト設定でベンチマークし,パーソナライズされた履歴を組み込むことで大幅な性能向上が得られることを観察した。
  論文  参考訳（メタデータ） (2025-05-20T09:13:22Z)
• Graph Meets LLM: A Novel Approach to Collaborative Filtering for Robust Conversational Understanding [20.934922599119865]
  欠陥クエリは、自動音声認識(ASR)と自然言語理解(NLU)におけるユーザの曖昧さ、誤り、エラーから生じる可能性がある。 パーソナライズドクエリ書き換え(Personalized query rewriting)は、ユーザの個々の振る舞いや好みを考慮してクエリの欠陥を軽減するアプローチである。 本稿では,これまでユーザの歴史になかった新しいユーザインタラクションの書き直し作業に特に対処する「協調クエリ書き換え」手法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T18:15:29Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。