Fugu-MT 論文翻訳(概要): User Preference Induction with LLMs for Offline Top-N Recommendation Evaluation

論文の概要: User Preference Induction with LLMs for Offline Top-N Recommendation Evaluation

arxiv url: http://arxiv.org/abs/2607.11354v1
Date: Mon, 13 Jul 2026 10:16:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-14 17:47:21.427265
Title: User Preference Induction with LLMs for Offline Top-N Recommendation Evaluation
Title（参考訳）: オフラインTop-Nレコメンデーション評価のためのLLMを用いたユーザ嗜好誘導
Abstract要約: オフラインレコメンデータ評価における妥当性判断の枠組みを提案する。我々のアプローチは2つの補完的な役割で大きな言語モデルを使用する。実験により,この手法はオフライントップN評価の堅牢性を向上させるための有望な戦略であることが示された。
参考スコア（独自算出の注目度）: 5.10348690267577
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Offline evaluation is the standard methodology for comparing top-N recommender systems, yet it relies on incomplete relevance information. In most benchmark datasets, only a small subset of user--item preferences is observed, and unjudged items are commonly treated as non-relevant. This missing-as-negative assumption can bias evaluation, penalize plausible recommendations with no recorded feedback, and favour algorithms that concentrate on popular or highly exposed items. We propose an LLM-based framework to expand relevance judgements for offline recommender evaluation. Our approach uses large language models in two complementary roles. First, a preference induction stage summarizes each user's historical interactions into a textual profile that captures their tastes and interests. Second, conditioned on this profile, an LLM acts as a relevance judge for candidate recommended items that lack observed labels in the original test data. To make this process tractable and evaluation-focused, we apply judgement expansion to a pooled candidate set built from the top-ranked outputs of multiple recommenders. The resulting enriched judgements provide additional relevance evidence for previously unobserved user--item pairs, enabling ranking metrics to be computed on a more complete basis. Experimental results show that this approach is a promising strategy for improving the robustness of offline top-N evaluation and mitigating the popularity-sensitive distortions caused by sparse feedback.
Abstract（参考訳）: オフライン評価は、トップNレコメンデータシステムを比較するための標準手法であるが、不完全な関連情報に依存している。ほとんどのベンチマークデータセットでは、ユーザの好みの小さなサブセットのみが観察され、未判断の項目は一般的に非関連として扱われる。この非負の仮定はバイアス評価をし、フィードバックを記録せずに妥当なレコメンデーションを罰し、人気のあるアイテムや非常に露出したアイテムにフォーカスするアルゴリズムを好む。オフラインレコメンデータ評価における妥当性判断の拡張を目的としたLLMベースのフレームワークを提案する。我々のアプローチは2つの補完的な役割で大きな言語モデルを使用する。まず、嗜好誘導段階は、ユーザの過去のインタラクションをテキストプロファイルに要約し、好みや関心をキャプチャする。第2に、このプロファイルに基づいて、LLMは、元のテストデータに観測されたラベルが欠けている候補推奨項目の関連判断役として機能する。このプロセスの抽出と評価に焦点をあてるために、複数のレコメンデータの上位出力から構築されたプールされた候補集合に判定拡張を適用する。結果として得られたリッチな判断は、これまで観測されていなかったユーザとイタムのペアについて、さらなる関連性の証拠を提供する。実験結果から, この手法は, オフライントップN評価の堅牢性向上と, スパースフィードバックによる人気感度歪み軽減に有効であることが示された。

関連論文リスト

On the Convergent Validity of Offline Evaluation Designs for Recommender Systems [1.7682678511634797]
オフライン評価設計選択がレコメンダシステム比較の妥当性に与える影響について検討する。本研究では, 従来の列車間隔分割モデルから得られたモデルランキングと, 密接な接地構造フィードバックに基づく評価結果との相関関係について検討した。本結果から,スパース評価の有効性は,データセットと特定の高密度評価対象に依存することが明らかとなり,オフライン評価設計に一様でないことが示唆された。
論文参考訳（メタデータ） (2026-07-27T21:54:19Z)
Do LLM-judges Align with Human Relevance in Cranfield-style Recommender Evaluation? [40.49875426230813]
本稿では,Large Language Models (LLM) がスケーラビリティ問題に対処するために,信頼性の高い自動判断器として機能するかどうかを検討する。 ML-32M-ext Cranfieldスタイルの映画レコメンデーションコレクションを用いて,既存の評価手法の限界について検討する。よりリッチな項目メタデータとより長いユーザ履歴を組み合わせることでアライメントが向上し,LLM-judgeは人間によるランキングと高い合意を得ることがわかった。
論文参考訳（メタデータ） (2025-11-28T16:10:39Z)
Personalized Recommendations via Active Utility-based Pairwise Sampling [1.704905100460915]
単純かつ直感的なペアワイズ比較から好みを学習するユーティリティベースのフレームワークを提案する。本研究の中心的な貢献は,嗜好評価のための新規なユーティリティベースアクティブサンプリング戦略である。
論文参考訳（メタデータ） (2025-08-12T19:09:33Z)
In-context Ranking Preference Optimization [65.5489745857577]
In-context Ranking Preference Optimization (IRPO) フレームワークを提案する。 IRPOは標準のDPO手法よりも高い性能を示し、LLMと直接文脈内ランキング設定の整合性を強調した。
論文参考訳（メタデータ） (2025-04-21T23:06:12Z)
Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
論文参考訳（メタデータ） (2025-04-20T19:05:59Z)
Can Large Language Models Understand Preferences in Personalized Recommendation? [32.2250928311146]
PerRecBenchを導入し、ユーザ評価バイアスとアイテムの品質から評価を分解する。評価予測に長けているLCMベースのレコメンデーション手法では,ユーザの評価バイアスや項目品質を排除した場合,ユーザの好ましくない項目や好ましくない項目を識別できないことがわかった。その結果、ポイントワイドランキングよりもペアワイズとリストワイズランキングの方が優れていること、PerRecBenchの従来の回帰指標との相関が低いこと、ユーザプロファイルの重要性、事前学習データ分布の役割が明らかになった。
論文参考訳（メタデータ） (2025-01-23T05:24:18Z)
On Softmax Direct Preference Optimization for Recommendation [50.896117978746]
そこで我々は,LMをベースとした推奨項目の識別を支援するために,ランキング情報をLMに挿入するソフトマックスDPO(S-DPO)を提案する。具体的には、ユーザの嗜好データに複数の負を組み込んで、LMベースのレコメンデータに適したDPO損失の代替版を考案する。
論文参考訳（メタデータ） (2024-06-13T15:16:11Z)
Is ChatGPT Fair for Recommendation? Evaluating Fairness in Large Language Model Recommendation [52.62492168507781]
LLM(FaiRLLM)を用いたFairness of Recommendationと呼ばれる新しいベンチマークを提案する。このベンチマークは、慎重に作成されたメトリクスと、8つの機密属性を考慮に入れたデータセットで構成されている。 FaiRLLMベンチマークを用いて、ChatGPTの評価を行い、レコメンデーションを生成する際には、いくつかの機密属性に対して不公平であることがわかった。
論文参考訳（メタデータ） (2023-05-12T16:54:36Z)
Unbiased Pairwise Learning to Rank in Recommender Systems [4.058828240864671]
アルゴリズムをランク付けする偏見のない学習は、候補をアピールし、既に単一の分類ラベルを持つ多くのアプリケーションに適用されている。本稿では,この課題に対処するための新しい非バイアス付きLTRアルゴリズムを提案する。パブリックベンチマークデータセットと内部ライブトラフィックを用いた実験結果から,分類ラベルと連続ラベルのいずれにおいても提案手法の優れた結果が得られた。
論文参考訳（メタデータ） (2021-11-25T06:04:59Z)
Correcting the User Feedback-Loop Bias for Recommendation Systems [34.44834423714441]
本稿では,レコメンデーションシステムにおいて,ユーザのフィードバックループバイアスを修正するための系統的かつ動的手法を提案する。本手法は,各ユーザの動的評価履歴の埋め込みを学習するためのディープラーニングコンポーネントを含む。実世界のレコメンデーションシステムにおけるユーザフィードバックループバイアスの存在を実証的に検証した。
論文参考訳（メタデータ） (2021-09-13T15:02:55Z)
Set2setRank: Collaborative Set to Set Ranking for Implicit Feedback based Recommendation [59.183016033308014]
本稿では,暗黙的フィードバックの特徴を探究し,推奨するSet2setRankフレームワークを提案する。提案するフレームワークはモデルに依存しず,ほとんどの推奨手法に容易に適用できる。
論文参考訳（メタデータ） (2021-05-16T08:06:22Z)
SetRank: A Setwise Bayesian Approach for Collaborative Ranking from Implicit Feedback [50.13745601531148]
提案手法は,提案システムにおける暗黙的フィードバックの特性に対応するために,協調的ランキング(SeetRank)のためのセッティングワイドベイズ的手法を提案する。具体的には、SetRankは、新しい設定された選好比較の後方確率を最大化することを目的としている。また、SetRankの理論解析により、余剰リスクの境界が$sqrtM/N$に比例できることを示す。
論文参考訳（メタデータ） (2020-02-23T06:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。