論文の概要: Are We Really Making Progress in Group Recommendation? Unmasking the Tie-Breaking Illusion
- arxiv url: http://arxiv.org/abs/2608.11190v1
- Date: Tue, 11 Aug 2026 17:50:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:46.145773
- Title: Are We Really Making Progress in Group Recommendation? Unmasking the Tie-Breaking Illusion
- Title(参考訳): グループレコメンデーションの進歩は本当に進んでいるか? ティーブレーキングのイリュージョンを解き放つ
- Abstract要約: グループレコメンデーションメソッドは、標準ベンチマークの大幅な改善を報告している。
しかし、これらの利益が常にモデリンググループの嗜好の真の進歩を反映しているかどうかは不明だ。
本研究は, 学習時間スコア圧縮と評価時間決定的タイブレッシングの相互作用による系統的評価バイアスによって, 最近のいくつかの手法が影響を受けることを示す。
- 参考スコア(独自算出の注目度): 4.153834414190214
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent group recommendation methods have reported strong improvements on standard benchmarks, but it remains unclear whether these gains always reflect genuine advances in modeling group preferences. In this paper, we show that several recent methods are affected by a systematic evaluation bias caused by the interaction between training-time score compression and evaluation-time deterministic tie-breaking. Specifically, an additional sigmoid transformation before the BPR objective can greatly increase tied top scores, making top-K metrics such as HR@K and NDCG@K highly sensitive to how ties are resolved. We revisit recent representative methods and their baselines on CAMRa2011 and Mafengwo under both group and user recommendation settings, and evaluate them with a tie-aware protocol that computes the exact expectation of HR@K and NDCG@K under uniform random tie-breaking. Our results show that many previously reported improvements shrink substantially under tie-aware evaluation, and the relative ranking of methods can change markedly. We further show that the additional sigmoid may act as implicit margin smoothing during optimization, and that temperature-scaled BPR can retain much of this benefit without inducing severe tie inflation. Overall, our findings highlight the importance of tie-aware evaluation for establishing reliable progress in group recommendation. The code is available at https://github.com/songduoma/TieAwareGroupRec.
- Abstract(参考訳): 最近のグループレコメンデーション手法では、標準ベンチマークの大幅な改善が報告されているが、これらが常にモデリンググループ選好の真の進歩を反映しているかどうかは不明だ。
本稿では, トレーニング時スコア圧縮と評価時決定的タイブレッシングの相互作用による系統的評価バイアスが, 近年の手法の影響を受けることを示す。
具体的には, HR@K や NDCG@K といったトップK の指標は, 関係の解決方法に非常に敏感である。
我々は,グループとユーザの両方でCAMRa2011とMafengwoをベースラインとして,HR@KとNDCG@Kの正確な予測をランダムなタイブレークで計算するタイアウェアプロトコルを用いて,CAMRa2011とMafengwoの最近の代表手法とベースラインを再検討する。
以上の結果から,従来報告されていた改善点の多くはネクタイ認識による評価で大幅に縮小し,手法の相対的ランク付けが著しく変化する可能性が示唆された。
さらに, このシグモイドは最適化中に暗黙のマージンスムージングとして作用し, 温度スケールのBPRは, 厳密なタイインフレーションを引き起こすことなく, この利点の多くを維持できることを示した。
本研究は,グループレコメンデーションの信頼性向上に向けたタイアウェア評価の重要性を強調した。
コードはhttps://github.com/songduoma/TieAwareGroupRec.comで入手できる。
関連論文リスト
- RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts [84.20747697259326]
グループ相対政策最適化(GRPO)は、検証可能なフィードバックからの強化学習において大きな効果を示している。
我々は,直接正当性に基づく優位性構築を参照相対的比較に置き換えることでGRPOを一般化するtextbfReference-Relative Policy Optimization (RRPO)を提案する。
我々は,タスクベーストラス検証に頼らずに,ポリシー最適化全体を通じてアンカーベースのコントラスト的優位性を用いてRRPOを評価する。
論文 参考訳(メタデータ) (2026-07-20T19:40:25Z) - CoSimRec: Measuring Coordinated-Content Penetration in Recommender Feedback Loops [2.633426951319157]
CoSimRecはオフラインエージェントベースの評価フレームワークで、調整されたアカウント、動的ランキング、非ボット応答、ランキング介入をモデル化する。
CoSimRecは、非ボット露出とエンゲージメントのターゲットコンテンツのシェアを測定するために、アルゴリズム浸透率測定ファミリを導入した。
我々は,MIND,MovieLens,LastFMのCoSimRecを,ランダムで人気の高いフィードバックセンシティブなMF,BPR-MFレコメンデータを用いて評価した。
論文 参考訳(メタデータ) (2026-07-16T15:24:09Z) - The Hidden Bias of Process Reward Models:PRISM for Rewarding the Right Reasoning [54.0056619145783]
プロセス・リワード・モデル (Process Reward Models, PRM) は、段階的なフィードバックを提供することで、推論のためのクレジット割り当てを改善する。
ステップレベルのトレーニングデータにおいて,重度の不均衡に起因するPRMの隠れバイアスを同定する。
対照的な段階比較から学習するポリシ対応のPRMトレーニングフレームワークであるPRISMを提案する。
論文 参考訳(メタデータ) (2026-06-08T06:22:33Z) - Don't Let Bandit Feedback Pull Continual LLM-Recommender Updates Off Target [42.681980014826536]
ジェネレーティブレコメンダ(LLM-Rec)は、デプロイ後の継続的な更新を必要とする。
デプロイメントログはポリシ形式のコンテキスト帯フィードバックのみを提供する。
連続LDM-Rec更新のためのアンコレッド帯域ポリシー最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-17T11:10:44Z) - Revisiting Reinforcement Learning with Verifiable Rewards from a Contrastive Perspective [10.958642517467721]
RLVRにおけるコントラストシーケンスレベルのポリシー最適化のためのフレームワークを提案する。
ConSPOはGRPOのクリップされた比率ベースのスコアを、長さ正規化されたシーケンスログ確率に置き換える。
ConSPOは、挑戦的な数学的推論ベンチマークにおいて、いくつかの強力なRLVRベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2026-05-13T04:02:36Z) - Mitigating Mismatch within Reference-based Preference Optimization [55.07698254211876]
直接選好最適化(DPO)は、大規模な言語モデルのオフライン選好アライメントのデファクトスタンダードとなっている。
DPOは、信頼された領域内で更新を規則化することでトレーニングを安定化する参照に対して、各更新を重み付けする。
この依存は、参照モデルが拒否された応答を好む悲観的なペアにとって問題となる。
DPOを変更して、$_-_mathrmref$を$_-max0,_mathrmref$に置き換えることで、悲観的な場合、参照を中立的に扱うようにします。
論文 参考訳(メタデータ) (2026-02-12T12:55:51Z) - Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
VGPOは時間次元とグループ次元の両方で値の推定を再定義する。
スパース端末の報酬を密度の高いプロセス認識値推定に変換する。
標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
論文 参考訳(メタデータ) (2025-12-13T16:31:26Z) - Don't Waste Mistakes: Leveraging Negative RL-Groups via Confidence Reweighting [24.822152032771736]
検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルを改善するための標準的なレシピとなっている。
負の集団は、余分な監督なしに活用できることが示される。
論文 参考訳(メタデータ) (2025-10-09T18:01:44Z) - Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。
ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。
我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
論文 参考訳(メタデータ) (2024-10-26T14:24:37Z) - Permutative Preference Alignment from Listwise Ranking of Human Judgments [40.23480751285947]
我々はNDCGを異なる代理損失で近似することで、エンドツーエンドのアライメントアルゴリズムを開発する。
我々は,NDCGに基づく手法により,B-T法よりも効率よくランキング精度を向上させることを示す。
論文 参考訳(メタデータ) (2024-10-06T03:49:28Z) - Learning by Sorting: Self-supervised Learning with Group Ordering
Constraints [75.89238437237445]
本稿では,対照学習目標である群順序制約(GroCo)の新たなバリエーションを提案する。
正の対と負の対の距離をソートし、正の対が負の対よりも多くの距離を持つかに基づいてそれぞれの損失を計算するという考え方を利用しており、したがって正しく順序付けされていない。
各種自己教師付き学習ベンチマークの定式化について検討し、バニラのコントラスト学習と比較して結果が向上するだけでなく、k-NNの性能において、線形探索や性能向上において同等の手法と競合する性能を示すことを示す。
論文 参考訳(メタデータ) (2023-01-05T11:17:55Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳(メタデータ) (2021-04-12T18:50:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。