論文の概要: Beyond Ranking Accuracy: Evaluating LLM-Cited Feature Rationales for Next Basket Repurchase Recommendation
- arxiv url: http://arxiv.org/abs/2608.30333v1
- Date: Mon, 31 Aug 2026 06:48:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.271735
- Title: Beyond Ranking Accuracy: Evaluating LLM-Cited Feature Rationales for Next Basket Repurchase Recommendation
- Title（参考訳）: ランク付け精度を超えて:次回のバスケ再購入勧告におけるLCM-Cited Feature Rationalsの評価
- Abstract要約: 大型言語モデル(LLM)は、特徴に基づく人間可読理性を通じて、そのような証拠を提示する潜在的方法を提供する。
我々は,リズム,頻度,傾向,ユーザ行動,アイテムの人気にまたがる再購入機能を構築した。
クロスモデル特徴マスキングプロトコルを用いて, LLM に係わる特徴とモデル固有属性法を比較した。
- 参考スコア（独自算出の注目度）: 8.448769976533981
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Next-basket repurchase recommendation is commonly formulated as a ranking task: given a customer's purchase history, the system ranks previously purchased items that may be needed again. In production settings, however, ranking accuracy is only one component of recommendation quality. Customers may also benefit from concise evidence about why an item is recommended now. Large language models (LLMs) offer a potential way to surface such evidence through feature-based, human-readable rationales grounded in interpretable behavioral signals. We construct repurchase features spanning cadence, frequency, recency, user behavior, and item popularity, and evaluate LLMs on two public grocery datasets and one proprietary retail dataset. We investigate (1) whether off-the-shelf LLMs can use these features as next-basket scorers relative to heuristic and supervised rankers, and (2) whether LLM-cited features carry outcome-grounded ranking signal. For the latter, we compare LLM-cited features with model-specific attribution methods under a cross-model feature-masking protocol that measures ranking degradation after masking selected features. Our results show that LLM scores are not competitive with supervised rankers, suggesting that off-the-shelf LLMs should not be used as standalone repurchase recommenders. However, changes in prompt and evidence representation can improve outcome-grounded feature-masking results in some settings even when ranking performance does not improve; the effect is dataset-dependent and does not consistently match attribution baselines. These findings suggest a practical role for LLMs as validated explanation components rather than primary rankers, with rationale quality evaluated separately from ranking accuracy.
- Abstract（参考訳）: 次回の再購入勧告は、一般的にランキングタスクとして定式化され、顧客の購入履歴が与えられたら、システムは、再度必要となる可能性のある購入アイテムをランク付けする。
しかし、プロダクション環境では、ランキングの精度は推奨品質の1つの要素に過ぎません。
顧客はまた、アイテムが推奨されている理由に関する簡潔な証拠の恩恵を受けることができる。
大型言語モデル(LLMs)は、特徴に基づく人間可読な有理を解釈可能な行動信号に基礎を置くことによって、そのような証拠を提示する潜在的方法を提供する。
そこで我々は,2つの公共食料品データセットと1つの独自小売データセットを用いたLCMの評価を行い,カデンス,頻度,傾向,ユーザ行動,商品人気にまたがる再購入機能を構築した。
本研究は, 既成のLLMが, ヒューリスティック, 教師付きランクラーに対して, 次世代のスコアラーとして利用できるか, および, 2) LLMを刺激した特徴が, 結果に基づくランキング信号を持つか否かを検討するものである。
後者では, マスキング後の階調劣化を測定するクロスモデル特徴マスキングプロトコルを用いて, LLM に係わる特徴とモデル固有属性法を比較した。
以上の結果から,LLMのスコアは教師付きランキングと競合するものではないことが示唆され,既製のLCMはスタンドアローンのリパーチェーズレコメンデーターとして使用すべきでないことが示唆された。
しかし、プロンプトとエビデンス表現の変化は、ランク付け性能が改善していない場合でも、結果に基づく特徴マスキングの結果を改善することができ、その効果はデータセットに依存しており、属性ベースラインと一貫して一致しない。
これらの結果から, LLM は, ランキング精度とは別個に, 有理品質が評価されるとともに, 評価された説明成分として実用的役割を担っていることが示唆された。
関連論文リスト
- Position Bias Undermines Preference Consistency in Listwise LLM-Based Reranking [2.5827686695037335]
位置バイアスがLLMによるリランカーのランク付けプロセスにどのように影響するかを検討する。
本稿では、ペアワイズな選好不安定性、グローバルな選好不整合性、リストワイズな出力整合性を測定する評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-04T04:04:12Z) - LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-06T17:59:35Z) - Can LLM Rerankers Predict Their Own Ranking Performance? [73.21268576961573]
テキスト・リランカ内部QPPについて検討し, LLMリランカが生成したランキングの質を推定できるか?
学習自由度推定には, サンプルランキング間の距離特異な自己整合性と, リランカが直接生成する言語的信頼度を検討した。
TREC Deep Learning 2019--2022の4つのLCMによる実験では、自己整合性は最先端(SOTA)アプローチと競合し、ほぼすべての設定でキャリブレーションが向上している。
言語的信頼を改善するために,2つの教師付き方法,Verbを提案する。
論文 参考訳（メタデータ） (2026-06-02T11:57:27Z) - Enhancing Rating Prediction with Off-the-Shelf LLMs Using In-Context User Reviews [16.394933051332657]
等級評価予測は、言語と数学的推論の両方を効果的に解く必要がある回帰タスクである。
本研究では,市販LCMの性能を評価予測に用い,異なるコンテキスト情報を提供する。
ユーザによるレビューでは,LCMのレーティング予測性能が大幅に向上していることがわかった。
論文 参考訳（メタデータ） (2025-10-01T03:04:20Z) - Evaluating Position Bias in Large Language Model Recommendations [3.430780143519032]
大規模言語モデル(LLM)は、リコメンデーションタスクのための汎用ツールとして、ますます研究されている。
LLMをベースとした推薦モデルは位置バイアスに悩まされ、その場合、プロンプト内の候補項目の順序がLLMの推薦に不均等に影響を及ぼす可能性がある。
本稿では,LLMレコメンデーションモデルにおける位置バイアスを軽減するための新たなプロンプト戦略であるRightingをIterative Selection経由で導入する。
論文 参考訳（メタデータ） (2025-08-04T03:30:26Z) - Prompt-Based LLMs for Position Bias-Aware Reranking in Personalized Recommendations [0.0]
大規模言語モデル(LLM)は、プロンプトベースのレコメンデーションに採用されている。
LLMは、限られたコンテキストウィンドウサイズ、非効率なポイントワイドおよびペアワイドプロンプト、リストワイドランキングの扱いの難しさといった制限に直面している。
本稿では,従来のレコメンデーションモデルとLLMを組み合わせたハイブリッドフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-08T05:01:44Z) - Rank-R1: Enhancing Reasoning in LLM-based Document Rerankers via Reinforcement Learning [76.50690734636477]
ランキングタスクを実行する前にユーザクエリと候補文書の両方を推論する新しいLCMベースのリランカである Rank-R1 を導入する。
TREC DL と BRIGHT データセットを用いた実験により,Ranc-R1 が特に複雑なクエリに対して非常に有効であることが判明した。
論文 参考訳（メタデータ） (2025-03-08T03:14:26Z) - Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
Instruct-LFはゴール指向の潜在因子発見システムである。
命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
論文 参考訳（メタデータ） (2025-02-21T02:03:08Z) - Re-evaluating Automatic LLM System Ranking for Alignment with Human Preference [63.03859517284341]
自動評価フレームワークは、人間の嗜好との整合性に基づいてLLMをランク付けすることを目的としている。
自動LLMベンチラは、入力セット、評価モデル、評価タイプ、集約方法の4つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2024-12-31T17:46:51Z) - FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。
実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。
以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
論文 参考訳（メタデータ） (2024-06-21T21:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。