論文の概要: Demographically-Inspired Query Variants Using an LLM

• arxiv url: http://arxiv.org/abs/2508.17644v1
• Date: Mon, 25 Aug 2025 04:17:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.625741
• Title: Demographically-Inspired Query Variants Using an LLM
• Title（参考訳）: LLMを用いた復号化型クエリ変数
• Authors: Marwah Alaofi, Nicola Ferro, Paul Thomas, Falk Scholer, Mark Sanderson,
• Abstract要約: 本研究では,既存のテストコレクションのクエリを多様化して,検索エンジン利用者の多様性を反映する手法を提案する。 LLM(Large Language Model)は、クエリの変種を生成するために使われる。 その結果,システムのランク付けに影響を及ぼす変異が示され,ユーザプロファイルがシステムの有効性の異なるレベルを経験していることが判明した。
• 参考スコア（独自算出の注目度）: 30.01085308819992
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study proposes a method to diversify queries in existing test collections to reflect some of the diversity of search engine users, aligning with an earlier vision of an 'ideal' test collection. A Large Language Model (LLM) is used to create query variants: alternative queries that have the same meaning as the original. These variants represent user profiles characterised by different properties, such as language and domain proficiency, which are known in the IR literature to influence query formulation. The LLM's ability to generate query variants that align with user profiles is empirically validated, and the variants' utility is further explored for IR system evaluation. Results demonstrate that the variants impact how systems are ranked and show that user profiles experience significantly different levels of system effectiveness. This method enables an alternative perspective on system evaluation where we can observe both the impact of user profiles on system rankings and how system performance varies across users.
• Abstract（参考訳）: 本研究では,既存のテストコレクションのクエリを多様化して,検索エンジン利用者の多様性を反映させる手法を提案する。 LLM(Large Language Model)は、クエリの変種を生成するために使われる。 これらの変種は、クエリの定式化に影響を与えるためにIR文献で知られている言語やドメインの習熟度など、異なる特性によって特徴づけられるユーザプロファイルを表す。 ユーザプロファイルに整合したクエリ変種を生成するLLMの能力は実証的に検証され,IRシステム評価のために,この変種の有用性をさらに探求する。 その結果,システムのランク付けに影響を及ぼす変異が示され,ユーザプロファイルがシステムの有効性の異なるレベルを経験していることが判明した。 本手法は,ユーザプロファイルがシステムランキングに与える影響と,システム性能がユーザ間でどのように異なるかの両方を観察できるシステム評価の代替的視点を可能にする。

関連論文リスト

• RecSys Arena: Pair-wise Recommender System Evaluation with Large Language Models [40.74293642666989]
  提案するRecSys Arenaでは,2種類のレコメンデーションシステムによるレコメンデーション結果がLLM審査員によって評価され,きめ細かい評価フィードバックが得られる。 我々は多くの異なるLCMが標準オフラインメトリクスと高度に一致した一般的な評価結果を提供することを示した。 AUCやnDCGと同等の性能の異なるアルゴリズムを区別できる。
  論文  参考訳（メタデータ） (2024-12-15T05:57:36Z)
• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• CFaiRLLM: Consumer Fairness Evaluation in Large-Language Model Recommender System [16.84754752395103]
  本研究は,Large Language Model (LLM) ベースのレコメンデータシステムにおける公平性評価に関する過去の研究に批判的な立場を取る。 CFaiRLLMは、真の嗜好アライメントを組み込むだけでなく、交叉フェアネスを厳格に検証する拡張評価フレームワークである。 CFaiRLLMの有効性を検証するため,MovieLensとLastFMを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-03-08T20:44:59Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• Controllable Exploration of a Design Space via Interactive Quality Diversity [2.0419267792711397]
  本稿では,QD検索に基づくユーザ主導の進化的アルゴリズムを提案する。 a) ユーザが認知負荷を減らすためにいくつかの代替案を提示する必要がある; (b) 提示された代替案は、ユーザの疲労を軽減するために、多様なが以前のユーザ選択に類似しているべきである。
  論文  参考訳（メタデータ） (2023-04-04T08:58:58Z)
• The Minority Matters: A Diversity-Promoting Collaborative Metric Learning Algorithm [154.47590401735323]
  CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。 本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。 textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-30T08:02:18Z)
• Everyone's Preference Changes Differently: Weighted Multi-Interest Retrieval Model [18.109035867113217]
  MIPモデル(Multi-Interest Preference)は、ユーザのシーケンシャルエンゲージメントをより効果的に利用することで、ユーザにとってマルチエンゲージメントを生み出すアプローチである。 本手法の有効性を実証するため,様々な産業規模のデータセットを用いて大規模な実験を行った。
  論文  参考訳（メタデータ） (2022-07-14T04:29:54Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。