論文の概要: Are Recommenders Self-Aware? Label-Free Recommendation Performance Estimation via Model Uncertainty

• arxiv url: http://arxiv.org/abs/2507.23208v1
• Date: Thu, 31 Jul 2025 03:04:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 17:19:09.013879
• Title: Are Recommenders Self-Aware? Label-Free Recommendation Performance Estimation via Model Uncertainty
• Title（参考訳）: レコメンデーションは自己認識しているか?モデル不確実性によるラベルなしレコメンデーション性能評価
• Authors: Jiayu Li, Ziyi Ye, Guohao Jian, Zhiqiang Guo, Weizhi Ma, Qingyao Ai, Min Zhang,
• Abstract要約: 本稿では,その不確実性を定量化することにより,推薦者の自己認識性について検討する。 確率に基づくリスト分布の不確実性(LiDu)を提案する。 LiDuは、推薦者が特定のランキングリストを生成する確率を決定することによって不確実性を測定する。
• 参考スコア（独自算出の注目度）: 27.396301623717072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can a recommendation model be self-aware? This paper investigates the recommender's self-awareness by quantifying its uncertainty, which provides a label-free estimation of its performance. Such self-assessment can enable more informed understanding and decision-making before the recommender engages with any users. To this end, we propose an intuitive and effective method, probability-based List Distribution uncertainty (LiDu). LiDu measures uncertainty by determining the probability that a recommender will generate a certain ranking list based on the prediction distributions of individual items. We validate LiDu's ability to represent model self-awareness in two settings: (1) with a matrix factorization model on a synthetic dataset, and (2) with popular recommendation algorithms on real-world datasets. Experimental results show that LiDu is more correlated with recommendation performance than a series of label-free performance estimators. Additionally, LiDu provides valuable insights into the dynamic inner states of models throughout training and inference. This work establishes an empirical connection between recommendation uncertainty and performance, framing it as a step towards more transparent and self-evaluating recommender systems.
• Abstract（参考訳）: 推奨モデルは自己認識できるか? 本稿では,その不確実性を定量化することにより,レコメンダの自己認識性について検討する。 このような自己評価は、レコメンデーターがユーザーと関わる前に、より深い理解と意思決定を可能にする。 この目的のために,確率に基づくリスト分布の不確実性(LiDu)という直感的で効果的な手法を提案する。 LiDuは、各項目の予測分布に基づいて、推薦者が特定のランキングリストを生成する確率を決定することによって不確実性を測定する。 我々は,LiDuの自己認識モデルを表現する能力について,(1)合成データセット上での行列分解モデル,(2)実世界のデータセット上での一般的な推奨アルゴリズムの2つの設定で検証する。 実験結果から,LiDuはラベルフリー性能推定器よりもレコメンデーション性能に相関があることが示唆された。 さらにLiDuは、トレーニングと推論を通じてモデルの動的内部状態に関する貴重な洞察を提供する。 この研究は、レコメンデーションの不確実性とパフォーマンスの間の実証的なつながりを確立し、より透明性と自己評価のレコメンデーションシステムへのステップとして、それをフレーミングする。

関連論文リスト

• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。 すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• Self-Evolutionary Large Language Models through Uncertainty-Enhanced Preference Optimization [9.618391485742968]
  反復的選好最適化は、最近、大規模言語モデル(LLM)のデファクトトレーニングパラダイムの1つになっている。 我々は、信頼性の高いフィードバックでLLMを自己進化させる不確実性のあるtextbfPreference textbfOptimizationフレームワークを提案する。 筆者らのフレームワークは,ノイズ問題を大幅に軽減し,反復的選好最適化の性能を向上させる。
  論文  参考訳（メタデータ） (2024-09-17T14:05:58Z)
• Doubly Calibrated Estimator for Recommendation on Data Missing Not At Random [20.889464448762176]
  既存の推定器は誤判定された暗黙の誤りと正当性スコアに依存していると我々は主張する。 本稿では,計算モデルと確率モデルの両方のキャリブレーションを含む二重校正推定器を提案する。
  論文  参考訳（メタデータ） (2024-02-26T05:08:52Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• Quantifying Availability and Discovery in Recommender Systems via Stochastic Reachability [27.21058243752746]
  そこで本稿では,ユーザへのコンテンツ推薦の最大確率を定量化するために,到達性に基づく評価手法を提案する。 リーチビリティは、コンテンツの可用性のバイアスを検出し、ユーザに与えられる発見の機会の制限を診断するために使用することができる。 明示的および暗黙的な評価の大規模なデータセットに基づいてトレーニングされた推薦アルゴリズムの評価を示す。
  論文  参考訳（メタデータ） (2021-06-30T16:18:12Z)
• Towards Open-World Recommendation: An Inductive Model-based Collaborative Filtering Approach [115.76667128325361]
  推奨モデルは、基礎となるユーザの関心を効果的に見積もり、将来の行動を予測することができる。 2つの表現モデルを含む帰納的協調フィルタリングフレームワークを提案する。 本モデルでは,限られたトレーニングレーティングと新規の未確認ユーザを対象に,数ショットのユーザに対して有望なレコメンデーションを行う。
  論文  参考訳（メタデータ） (2020-07-09T14:31:25Z)
• Binary Classification from Positive Data with Skewed Confidence [85.18941440826309]
  肯定的信頼度(Pconf)分類は、有望な弱教師付き学習法である。 実際には、信頼はアノテーションプロセスで生じるバイアスによって歪められることがある。 本稿では、スキュード信頼度のパラメータ化モデルを導入し、ハイパーパラメータを選択する方法を提案する。
  論文  参考訳（メタデータ） (2020-01-29T00:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。