論文の概要: On the Convergent Validity of Offline Evaluation Designs for Recommender Systems

• arxiv url: http://arxiv.org/abs/2607.25097v1
• Date: Mon, 27 Jul 2026 21:54:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.637325
• Title: On the Convergent Validity of Offline Evaluation Designs for Recommender Systems
• Title（参考訳）: リコメンダシステムにおけるオフライン評価設計の収束妥当性について
• Abstract要約: オフライン評価設計選択がレコメンダシステム比較の妥当性に与える影響について検討する。 本研究では, 従来の列車間隔分割モデルから得られたモデルランキングと, 密接な接地構造フィードバックに基づく評価結果との相関関係について検討した。 本結果から,スパース評価の有効性は,データセットと特定の高密度評価対象に依存することが明らかとなり,オフライン評価設計に一様でないことが示唆された。
• 参考スコア（独自算出の注目度）: 1.7682678511634797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline evaluation on historical interaction logs is the most common evaluation methodology for recommender systems. However, such evaluations depend on sparse, incomplete, or biased data, which raises concerns about whether commonly used evaluation setups reliably reflect true user preferences. In this work, we study how offline evaluation design choices affect the validity of recommender system comparisons. We evaluate a set of recommendation models across several evaluation setups that vary key factors such as data filtering thresholds and candidate set construction. To assess the validity of these configurations, we measure the correlation between model rankings obtained from conventional train-test splits on sparse interaction data and rankings from evaluations based on dense ground-truth user feedback. We use this agreement as an indication of their validity with respect to true user preferences. Our results show that the validity of sparse evaluation depends on the dataset and the specific dense evaluation targets, and that there is no uniformly best offline evaluation design.
• Abstract（参考訳）: 過去のインタラクションログのオフライン評価は、リコメンデータシステムにとって最も一般的な評価手法である。 しかし、そのような評価はスパース、不完全、偏りのあるデータに依存するため、一般的に使用される評価設定が真のユーザの好みを確実に反映するかどうかという懸念が生じる。 本研究では,オフライン評価設計選択がレコメンダシステム比較の有効性に与える影響について検討する。 我々は,データフィルタリングしきい値や候補セットの構成など,重要な要素の異なる複数の評価設定にまたがるレコメンデーションモデルの評価を行う。 これらの構成の妥当性を評価するため, 従来の列車間相互作用データから得られたモデルランキングと, 密接な地味フィードバックに基づく評価から得られたモデルランキングの相関を計測した。 私たちは、この合意を、真のユーザの嗜好に対する妥当性を示すものとして使用します。 本結果から,スパース評価の有効性は,データセットと特定の高密度評価対象に依存することが明らかとなり,オフライン評価設計に一様でないことが示唆された。

関連論文リスト

• User Preference Induction with LLMs for Offline Top-N Recommendation Evaluation [5.10348690267577]
  オフラインレコメンデータ評価における妥当性判断の枠組みを提案する。 我々のアプローチは2つの補完的な役割で大きな言語モデルを使用する。 実験により,この手法はオフライントップN評価の堅牢性を向上させるための有望な戦略であることが示された。
  論文  参考訳（メタデータ） (2026-07-13T10:16:24Z)
• LLM-as-a-Judge for Reliable and Explainable Offline Evaluation in Top-K Recommendation [16.60711435187638]
  オフライン評価は、観測されたユーザのフィードバックを、真の好みのプロキシとして扱う。 トップKメトリクスは、それらをサポートする意味のある洞察を提供することなく、数値スコアを確立するだけです。 オフラインのレコメンデーション評価のための信頼性と説明可能なLCM-as-a-Judgeフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-22T07:42:01Z)
• Offline Preference-Based Trajectory Evaluation [54.93316418589433]
  そこで我々は,時間的嗜好と時間的回帰プロファイルを直接比較した,嗜好に基づく軌道評価を提案する。 さまざまなエージェントとインタラクティブなベンチマークにおいて、標準的な成功ベースのメトリクスは、およそ75%のインスタンスで相関した比較を生成します。
  論文  参考訳（メタデータ） (2026-06-16T05:42:19Z)
• Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
  既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。 静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。 実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
  論文  参考訳（メタデータ） (2026-05-29T17:00:55Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• Interactive Evaluation Requires a Design Science [90.62695599188204]
  大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。 フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。 本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
  論文  参考訳（メタデータ） (2026-05-18T04:03:18Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• On the Reliability of Sampling Strategies in Offline Recommender Evaluation [3.4956406636452626]
  オフライン評価は、オンラインテストが非現実的または危険である場合、推奨システムのベンチマークにおいて中心的な役割を果たす。 露出バイアスは、ユーザが表示されているアイテムのみと対話する、露出バイアスと、全カタログではなくログされたアイテムのサブセットで評価を行う際に導入されるサンプリングバイアスである。
  論文  参考訳（メタデータ） (2025-08-07T13:50:05Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• Towards Robust Offline Evaluation: A Causal and Information Theoretic Framework for Debiasing Ranking Systems [6.540293515339111]
  検索レベルシステムのオフライン評価は、高性能なモデルの開発に不可欠である。 本稿では,検索グレードシステムのオフライン評価を行うための新しいフレームワークを提案する。 本研究は,(1)オフライン評価バイアスに対処するための因果関係の定式化,(2)システムに依存しない脱バイアスフレームワーク,(3)有効性の実証的検証を含む。
  論文  参考訳（メタデータ） (2025-04-04T23:52:57Z)
• Evaluating the Robustness of Off-Policy Evaluation [10.760026478889664]
  Off-policy Evaluation (OPE)は、オフラインログデータのみを活用する仮説的ポリシーの性能を評価する。 オンラインインタラクションが高利得と高価な設定を含むアプリケーションでは特に有用である。 我々は,OPE推定器のロバスト性を評価する実験手法であるIEOE(Interpretable Evaluation for Offline Evaluation)を開発した。
  論文  参考訳（メタデータ） (2021-08-31T09:33:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。