論文の概要: Towards a Signal Detection Based Measure for Assessing Information Quality of Explainable Recommender Systems

• arxiv url: http://arxiv.org/abs/2507.01168v1
• Date: Tue, 01 Jul 2025 20:11:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.87294
• Title: Towards a Signal Detection Based Measure for Assessing Information Quality of Explainable Recommender Systems
• Title（参考訳）: 説明可能なレコメンダシステムの情報品質評価のための信号検出手法の提案
• Authors: Yeonbin Son, Matthew L. Bolton,
• Abstract要約: 本稿では, 妥当性を評価する客観的指標, 説明の質について述べる。 提案手法の有効性を評価するため,情報品質の異なる4つの事例を設定した。
• 参考スコア（独自算出の注目度）: 0.5371337604556311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is growing interest in explainable recommender systems that provide recommendations along with explanations for the reasoning behind them. When evaluating recommender systems, most studies focus on overall recommendation performance. Only a few assess the quality of the explanations. Explanation quality is often evaluated through user studies that subjectively gather users' opinions on representative explanatory factors that shape end-users' perspective towards the results, not about the explanation contents itself. We aim to fill this gap by developing an objective metric to evaluate Veracity: the information quality of explanations. Specifically, we decompose Veracity into two dimensions: Fidelity and Attunement. Fidelity refers to whether the explanation includes accurate information about the recommended item. Attunement evaluates whether the explanation reflects the target user's preferences. By applying signal detection theory, we first determine decision outcomes for each dimension and then combine them to calculate a sensitivity, which serves as the final Veracity value. To assess the effectiveness of the proposed metric, we set up four cases with varying levels of information quality to validate whether our metric can accurately capture differences in quality. The results provided meaningful insights into the effectiveness of our proposed metric.
• Abstract（参考訳）: 説明可能なレコメンデーションシステムへの関心が高まっており、それらの背後にある理由の説明とともにレコメンデーションを提供する。 推薦システムを評価する場合、ほとんどの研究はレコメンデーション性能に重点を置いている。 説明の質を評価するのはごくわずかである。 説明品質は、説明内容そのものではなく、エンドユーザが結果に対する視点を形作る代表的説明要因について、ユーザの意見を主観的に収集するユーザスタディを通じて評価されることが多い。 我々は,このギャップを,説明の質(情報品質)を評価する客観的な指標を開発することによって埋めることを目指している。 具体的には、VeracityをFidelityとAtunementの2つの次元に分解する。 正当性とは、推奨項目に関する正確な情報を含むか否かをいう。 属性は、その説明が対象ユーザの好みを反映しているかどうかを評価する。 信号検出理論を適用することにより、まず各次元の判定結果を決定し、次にそれらを組み合わせて感度を計算し、最終的な精度値として機能する。 提案手法の有効性を評価するため,提案手法が精度の違いを正確に把握できるかどうかを検証するために,情報品質の異なる4つの事例を設定した。 その結果,提案手法の有効性について有意義な知見を得た。

関連論文リスト

• Whom do Explanations Serve? A Systematic Literature Survey of User Characteristics in Explainable Recommender Systems Evaluation [7.021274080378664]
  ユーザ調査では,レコメンダシステムの説明が評価された124の論文を調査した。 本研究の結果は,主に特定のユーザを対象としていることが明らかとなった。 より包括的で再現可能な評価に向けた行動を提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:01:30Z)
• Quantifying User Coherence: A Unified Framework for Cross-Domain Recommendation Analysis [69.37718774071793]
  本稿では,レコメンデーションシステムを理解するための新しい情報理論手法を提案する。 9つのデータセットで7つのレコメンデーションアルゴリズムを評価し、測定値と標準的なパフォーマンス指標の関係を明らかにする。
  論文  参考訳（メタデータ） (2024-10-03T13:02:07Z)
• Creating Healthy Friction: Determining Stakeholder Requirements of Job Recommendation Explanations [2.373992571236766]
  本研究では,現実的なタスクベースの複合設計ユーザスタディを用いて,説明可能なジョブレコメンデーションシステムの評価を行う。 実際の説明を利害関係者に提供することは意思決定のスピードと正確さを著しく向上させるものではない。
  論文  参考訳（メタデータ） (2024-09-24T11:03:17Z)
• Explaining Length Bias in LLM-Based Preference Evaluations [51.07275977870145]
  本研究では,選好評価指標,特に勝率を,好ましさと情報量という2つの重要な要素に分解する。 応答長が情報量に影響を与えることにより評価に影響を及ぼすことを示す。 本稿では,利得率測定のための簡易かつ効果的な調整法であるAdapAlpacaを提案する。
  論文  参考訳（メタデータ） (2024-07-01T08:37:41Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• Can Offline Metrics Measure Explanation Goals? A Comparative Survey Analysis of Offline Explanation Metrics in Recommender Systems [5.634769877793363]
  Recommender System (RS) における説明は、ユーザに推奨する理由を与え、透明性、説得力、エンゲージメント、そして説明目標として知られた信頼を高める。 本研究は,共有コンテンツに基づくインタラクション項目と推奨項目を接続する説明文において,項目属性の選択とインタラクション項目の選択が説明目標に影響を及ぼすかどうかを検討した。 6つのレコメンデーションシステムにおける3つの最先端アルゴリズムから,属性の多様性と人気度,および項目間相互作用の関連性を測定した。
  論文  参考訳（メタデータ） (2023-10-22T18:22:35Z)
• Measuring "Why" in Recommender Systems: a Comprehensive Survey on the Evaluation of Explainable Recommendation [87.82664566721917]
  この調査は、IJCAI、AAAI、TheWebConf、Recsys、UMAP、IUIといったトップレベルのカンファレンスから100以上の論文に基づいています。
  論文  参考訳（メタデータ） (2022-02-14T02:58:55Z)
• Fairness-Aware Explainable Recommendation over Knowledge Graphs [73.81994676695346]
  ユーザのアクティビティのレベルに応じて異なるグループのユーザを分析し、異なるグループ間での推奨パフォーマンスにバイアスが存在することを確認する。 不活性なユーザは、不活性なユーザのためのトレーニングデータが不十分なため、不満足なレコメンデーションを受けやすい可能性がある。 本稿では、知識グラフに対する説明可能な推奨という文脈で、この問題を緩和するために再ランク付けすることで、公平性に制約されたアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-03T05:04:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。