論文の概要: What Gets Measured Gets Managed: Sign-aware Recommendation Needs Sign-aware Evaluation

• arxiv url: http://arxiv.org/abs/2609.33346v1
• Date: Sun, 27 Sep 2026 08:17:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:53:55.892525
• Title: What Gets Measured Gets Managed: Sign-aware Recommendation Needs Sign-aware Evaluation
• Title（参考訳）: 計測されたものは管理される:シグナリングを意識したレコメンデーションはシグナリングを意識した評価を必要とする
• Abstract要約: State-of-the-the-art graph-based sign-aware recommender system is paradoxically valence-blind。 署名されたメトリクスのファミリーであるSigned Recall,Signed HR,Signed NDCGを提案する。
• 参考スコア（独自算出の注目度）: 12.236944976859078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sign-aware recommender systems have recently been developed to leverage negative feedback for a deeper understanding of user preferences. However, our empirical diagnosis reveals that state-of-the-art graph-based sign-aware recommender systems are paradoxically valence-blind. Even though they explicitly incorporate sign information during training, they consistently fail to differentiate liked items from disliked ones at the ranking stage, frequently infiltrating top-K recommendations with disliked content. Through linear probing, we show that while valence information exists in the learned embeddings, it remains inaccessible to the inner-product scoring function. This widespread failure remains entirely undetected because conventional evaluation metrics, such as Recall, HR, and NDCG, assign a uniform utility of zero to both negative and unobserved items, creating a systematic evaluation blind spot. To bridge this gap, we propose a family of signed metrics, Signed Recall, Signed HR, and Signed NDCG, that explicitly penalize the recommendation of disliked content. Systematic re-evaluation under our proposed metrics fundamentally reshapes the established performance landscape, revealing that methods ranked highly under conventional metrics often fail to protect users from disliked content. Finally, through a proof-of-concept auxiliary loss, we confirm that the proposed metrics provide actionable training signals, guiding models toward valence-aware behavior without sacrificing conventional relevance. For transparency, our source code is available at: https://anonymous.4open.science/r/signed-rec-benchmark-07E4
• Abstract（参考訳）: 近年,ユーザの嗜好をより深く理解するために,ネガティブフィードバックを活用するための署名対応レコメンデータシステムが開発されている。 しかし、我々の経験的診断は、最先端のグラフベースの手話認識レコメンデータシステムが、パラドックス的に有価値のブラインドであることを明らかにする。 トレーニング中に明示的にサイン情報を組み込むが、ランキング段階では好ましくない項目と好ましくない項目を区別することができず、しばしば好ましくないコンテンツでトップKのレコメンデーションに浸透する。 線形探索により、学習した埋め込みには原子価情報が存在するが、内積スコアリング機能にはアクセスできないことを示す。 Recall、HR、NDCGといった従来の評価指標では、負の項目と観測されない項目の両方にゼロの均一なユーティリティを割り当て、体系的な評価盲点を作り出すため、この広範な障害は完全に検出されないままである。 このギャップを埋めるために、署名付きリコール(Signed Recall)、署名されたHR(Signed HR)、署名されたNDCG(Signed NDCG)という一連の署名付きメトリクスを提案する。 提案手法の体系的再評価は,従来の指標よりも上位の手法がユーザを嫌うコンテンツから守るのに失敗することが多いことを明らかにする。 最後に,概念的補助的損失の証明を通じて,提案手法が従来の妥当性を損なうことなく,有能なトレーニング信号を提供することを確認した。 透明性のために、私たちのソースコードは以下の通りである。 https://anonymous.4open.science/r/signed-rec-benchmark-07E4。

関連論文リスト

• User Preference Induction with LLMs for Offline Top-N Recommendation Evaluation [5.10348690267577]
  オフラインレコメンデータ評価における妥当性判断の枠組みを提案する。 我々のアプローチは2つの補完的な役割で大きな言語モデルを使用する。 実験により,この手法はオフライントップN評価の堅牢性を向上させるための有望な戦略であることが示された。
  論文  参考訳（メタデータ） (2026-07-13T10:16:24Z)
• PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
  PerceptionRubricsはルーブリックベースの評価フレームワークである。 飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。 1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
  論文  参考訳（メタデータ） (2026-06-26T17:59:15Z)
• LLM-as-a-Judge for Reliable and Explainable Offline Evaluation in Top-K Recommendation [16.60711435187638]
  オフライン評価は、観測されたユーザのフィードバックを、真の好みのプロキシとして扱う。 トップKメトリクスは、それらをサポートする意味のある洞察を提供することなく、数値スコアを確立するだけです。 オフラインのレコメンデーション評価のための信頼性と説明可能なLCM-as-a-Judgeフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-22T07:42:01Z)
• Evaluation Sovereignty in Metadata-Driven Classification: A Multi-Track Framework for Weakly Supervised Information Systems [0.0]
  本稿では,分類性能の向上をめざしてはいない。 代わりに、ラベルオーソリティの異なる体制下でのパフォーマンス測定の有効性を検討する。 評価主権は,評価指標がラベル権限や監督体制から独立している度合いとして定義される。
  論文  参考訳（メタデータ） (2026-06-11T14:59:43Z)
• Bias Leaves a Gradient Trail: Label-Free Bias Identification via Gradient Probes on Concept Decompositions [8.894428198928333]
  本稿では,凍結視覚モデルにおける突発的概念を識別するためのバイアスラベルのないポストホック法を提案する。 Colored MNIST と Waterbirds では、この手法は既知のスプリアスキューに沿った概念を復元する。 推論時間における上位概念の抑制は、最悪のグループ精度を最大17.9ポイント向上させる。
  論文  参考訳（メタデータ） (2026-05-27T17:39:10Z)
• CoNRec: Context-Discerning Negative Recommendation with LLMs [5.832474387562381]
  ユーザのネガティブな嗜好に関する研究は、現代のレコメンデーションシステムにおいてますます重要になっている。 既存のアプローチのほとんどは、主に肯定的な推奨を強化する補助信号として負のフィードバックを使用している。 特殊設計した文脈認識モジュールを用いた負のフィードバックモデリングのための,最初の大規模言語モデルフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-22T07:46:18Z)
• Rethinking Metrics and Benchmarks of Video Anomaly Detection [58.37571339811799]
  ビデオ異常検出(VAD)は、期待から外れた異常を検出することを目的としている。 既存のVADメトリクスは、単一のアノテーションバイアスの影響を受けます。 既存のベンチマークには、完全に/弱い教師付きアルゴリズムのシーンオーバーフィットを評価する能力がない。
  論文  参考訳（メタデータ） (2025-05-25T08:09:42Z)
• DFGNN: Dual-frequency Graph Neural Network for Sign-aware Feedback [51.72177873832969]
  本稿では,周波数フィルタの観点から正負のフィードバックをモデル化する新しいモデルを提案する。 実世界のデータセットについて広範な実験を行い、提案モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-24T07:07:41Z)
• Recommendation Systems with Distribution-Free Reliability Guarantees [83.80644194980042]
  我々は、主に良いアイテムを含むことを厳格に保証されたアイテムのセットを返す方法を示す。 本手法は, 擬似発見率の厳密な有限サンプル制御によるランキングモデルを提供する。 我々はYahoo!のランキングとMSMarcoデータセットの学習方法を評価する。
  論文  参考訳（メタデータ） (2022-07-04T17:49:25Z)
• PipAttack: Poisoning Federated Recommender Systems forManipulating Item Promotion [58.870444954499014]
  一般的な実践は、分散化された連邦学習パラダイムの下でレコメンデーターシステムをサブスクライブすることである。 本稿では,対象項目の促進のために,フェデレートされたレコメンデータシステムをバックドア化するための体系的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-21T06:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。