論文の概要: Evaluating Brand Retrieval and Ranking in Large Language Model Recommendations
- arxiv url: http://arxiv.org/abs/2609.16304v1
- Date: Mon, 14 Sep 2026 20:09:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.229301
- Title: Evaluating Brand Retrieval and Ranking in Large Language Model Recommendations
- Title（参考訳）: 大規模言語モデル推薦におけるブランド検索とランク付けの評価
- Abstract要約: 大規模言語モデル(LLM)は製品レコメンデーションにますます使われている。
従来の情報検索とレコメンデーションシステムとは異なる課題を提示する。
オープンエンドのLCMブランドレコメンデーションを評価するためのフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 2.7506573311649762
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly used for product recommendation, but evaluating their recommendations presents challenges that differ from conventional information retrieval and recommender systems. LLMs can generate recommendations without an explicit candidate set, and repeated responses to the same query can produce different brands and rankings. We introduce a framework for evaluating open-ended LLM brand recommendations that defines the competitive set independently of model outputs and estimates recommendation prevalence and prominence through repeated sampling. We operationalize these constructs using Brand Recommendation Probability (BRP@$k$) and Mean Reciprocal Rank (MRR@$k$), and apply the framework to six LLMs across five product categories. Category-only queries reveal substantial omission of established brands and limited evidence that recommendation prominence follows conventional brand popularity. Instead, prominence is associated with broader marketplace-visibility signals, particularly search interest and online brand conversation. Needs-based queries show that contextualizing users' goals and constraints changes which brands are retrieved, while diagnostic positioning probes demonstrate that brands omitted from ordinary recommendations can remain conditionally retrievable when distinctive cues are supplied. These findings highlight the need to evaluate LLM recommendation as a stochastic retrieval-and-ranking process rather than from individual generated lists. We provide open-source software and data to support reproducible evaluation of LLM-generated brand recommendations.
- Abstract（参考訳）: 大規模言語モデル (LLM) は製品レコメンデーションにますます利用されているが、それらのレコメンデーションを評価すると、従来の情報検索やレコメンデーションシステムとは異なる課題が提示される。
LLMは明確な候補セットなしでレコメンデーションを生成することができ、同じクエリに対する繰り返し応答は異なるブランドやランキングを生成することができる。
本稿では,モデル出力と独立に競合セットを定義し,反復サンプリングによる推奨の有病率と有病率を推定するオープンエンドLCMブランドレコメンデーションの評価フレームワークを提案する。
Brand Recommendation Probability (BRP@$k$)とMean Reciprocal Rank (MRR@$k$)を使用してこれらの構造を運用し、5つの製品カテゴリにわたる6つのLCMに適用する。
カテゴリー限定のクエリは、確立されたブランドの実質的な欠落を明らかにし、推奨が従来のブランドの人気に従うという限定的な証拠を明らかにしている。
代わりに、マーケットプレースの可視性信号、特に検索の興味やオンラインブランドの会話に注目が集まる。
ニーズベースのクエリは、ユーザの目標と制約のコンテキスト化によって、ブランドが検索される状況が変化することを示し、診断的位置決めプローブは、一般的なレコメンデーションから省略されたブランドが、ユニークなヒントが提供されても、条件付きで検索可能であることを示す。
これらの結果は、個々のリストからではなく、確率的検索とランク付けのプロセスとしてLLMレコメンデーションを評価する必要性を浮き彫りにした。
LLM生成ブランドレコメンデーションの再現可能な評価を支援するためのオープンソースソフトウェアとデータを提供する。
関連論文リスト
- Evaluating LLM-Based Mobile App Recommendations: An Empirical Study [1.9932595193134042]
大規模言語モデル(LLM)は、自然言語のプロンプトを通じてモバイルアプリケーションに推奨されるようになってきている。
本稿では,LLMがモバイルアプリレコメンデーションをどのように生成し,正当化し,ランク付けするかを実証分析する。
論文 参考訳（メタデータ） (2025-10-21T07:35:19Z) - CARE: Contextual Adaptation of Recommenders for LLM-based Conversational Recommendation [66.51329063956538]
CARE(Contextual Adaptation of Recommenders)フレームワークを紹介します。
CAREはCRSタスクのために大きな言語モデルをカスタマイズし、それらを外部レコメンデーションシステムでシナジする。
本研究では,外部レコメンデータシステムとエンティティレベルの情報を統合することで,CRSのレコメンデーション精度を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2025-08-19T14:53:30Z) - Towards Comprehensible Recommendation with Large Language Model Fine-tuning [41.218487308635126]
本稿では,コラボレーティブ・パースペクティブ・フレームワーク(CURec)によるレコメンデーションシステムのための新しいコンテンツ理解手法を提案する。
Curecは、より包括的なレコメンデーションのために、協調的なコンテンツ機能を生成する。
公開ベンチマークの実験では、既存の方法よりもCURecの方が優れていることが示されている。
論文 参考訳（メタデータ） (2025-08-11T03:55:31Z) - Generative Product Recommendations for Implicit Superlative Queries [21.750990820244983]
Recommender Systemsでは、ユーザーは「トレイルランニングのためのベストシューズ」のような間接的、曖昧、または不明確なクエリを通じて、最高の製品を求めることが多い。
本研究では,大規模言語モデルがランキングに暗黙の属性を生成できるかを検討するとともに,そのようなクエリの製品レコメンデーションを改善するための理由についても検討する。
論文 参考訳（メタデータ） (2025-04-26T00:05:47Z) - Enhancing Recommendation Diversity by Re-ranking with Large Language Models [0.27624021966289597]
大きな言語モデル(LLM)は、多様性の再ランク付けに使用することができる。
LLMは、多くの自然言語処理およびレコメンデーションタスクにおいて改善されたパフォーマンスを示す。
論文 参考訳（メタデータ） (2024-01-21T14:33:52Z) - LLMRec: Benchmarking Large Language Models on Recommendation Task [54.48899723591296]
推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。
我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。
ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
論文 参考訳（メタデータ） (2023-08-23T16:32:54Z) - A Survey on Large Language Models for Recommendation [77.91673633328148]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。
本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文 参考訳（メタデータ） (2023-05-31T13:51:26Z) - Large Language Models are Zero-Shot Rankers for Recommender Systems [76.02500186203929]
本研究では,レコメンダシステムのランキングモデルとして機能する大規模言語モデル(LLM)の能力を検討することを目的とする。
LLMにはゼロショットランキング能力があるが、歴史的相互作用の順序を理解するのに苦労していることを示す。
これらの問題は、特別に設計されたプロンプトとブートストラップ戦略によって緩和可能であることを実証する。
論文 参考訳（メタデータ） (2023-05-15T17:57:39Z) - Is ChatGPT Fair for Recommendation? Evaluating Fairness in Large
Language Model Recommendation [52.62492168507781]
LLM(FaiRLLM)を用いたFairness of Recommendationと呼ばれる新しいベンチマークを提案する。
このベンチマークは、慎重に作成されたメトリクスと、8つの機密属性を考慮に入れたデータセットで構成されている。
FaiRLLMベンチマークを用いて、ChatGPTの評価を行い、レコメンデーションを生成する際には、いくつかの機密属性に対して不公平であることがわかった。
論文 参考訳（メタデータ） (2023-05-12T16:54:36Z) - Recommendation Systems with Distribution-Free Reliability Guarantees [83.80644194980042]
我々は、主に良いアイテムを含むことを厳格に保証されたアイテムのセットを返す方法を示す。
本手法は, 擬似発見率の厳密な有限サンプル制御によるランキングモデルを提供する。
我々はYahoo!のランキングとMSMarcoデータセットの学習方法を評価する。
論文 参考訳（メタデータ） (2022-07-04T17:49:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。