論文の概要: Beyond Models! Explainable Data Valuation and Metric Adaption for Recommendation
- arxiv url: http://arxiv.org/abs/2502.08685v1
- Date: Wed, 12 Feb 2025 12:01:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-14 13:49:53.384943
- Title: Beyond Models! Explainable Data Valuation and Metric Adaption for Recommendation
- Title（参考訳）: モデルを超えて! 説明可能なデータ評価と推奨のためのメトリクス適応
- Authors: Renqi Jia, Xiaokun Zhang, Bowei He, Qiannan Zhu, Weitao Xu, Jiehao Chen, Chen Ma,
- Abstract要約: 現在の手法では、高品質なデータと低品質なデータとを区別するためにデータバリュエーションを採用している。
本稿では,任意の要求に合わせたデータ利用効率を向上させるための,説明可能な多用途フレームワークDVRを提案する。
筆者らのフレームワークは,NDCGの代表的な指標として,既存の手法よりも最大34.7%改善されている。
- 参考スコア（独自算出の注目度）: 10.964035199849125
- License:
- Abstract: User behavior records serve as the foundation for recommender systems. While the behavior data exhibits ease of acquisition, it often suffers from varying quality. Current methods employ data valuation to discern high-quality data from low-quality data. However, they tend to employ black-box design, lacking transparency and interpretability. Besides, they are typically tailored to specific evaluation metrics, leading to limited generality across various tasks. To overcome these issues, we propose an explainable and versatile framework DVR which can enhance the efficiency of data utilization tailored to any requirements of the model architectures and evaluation metrics. For explainable data valuation, a data valuator is presented to evaluate the data quality via calculating its Shapley value from the game-theoretic perspective, ensuring robust mathematical properties and reliability. In order to accommodate various evaluation metrics, including differentiable and non-differentiable ones, a metric adapter is devised based on reinforcement learning, where a metric is treated as the reinforcement reward that guides model optimization. Extensive experiments conducted on various benchmarks verify that our framework can improve the performance of current recommendation algorithms on various metrics including ranking accuracy, diversity, and fairness. Specifically, our framework achieves up to 34.7\% improvements over existing methods in terms of representative NDCG metric. The code is available at https://github.com/renqii/DVR.
- Abstract（参考訳）: ユーザー行動記録はレコメンデーションシステムの基礎となる。
行動データは取得の容易さを示すが、品質の異なる場合が多い。
現在の手法では、高品質なデータと低品質なデータとを区別するためにデータバリュエーションを採用している。
しかし、彼らはブラックボックスデザインを採用する傾向があり、透明性と解釈性に欠ける。
さらに、それらは通常、特定の評価指標に合わせて調整され、様々なタスクにまたがる限られた一般性をもたらす。
これらの問題を解決するために,モデルアーキテクチャや評価指標の要件に適合したデータ利用効率を向上させるための,説明可能な多目的フレームワークDVRを提案する。
説明可能なデータ評価のために、ゲーム理論の観点からShapley値を計算し、堅牢な数学的特性と信頼性を確保することにより、データ品質を評価するためのデータ評価器が提示される。
微分不可能な指標を含む様々な評価指標に対応するため、モデル最適化を導く強化報酬としてメトリクスを扱い、強化学習に基づいてメートル法アダプタを考案する。
様々なベンチマークで行った大規模な実験により、我々のフレームワークは、ランキング精度、多様性、公平性など、様々な指標に基づいて、現在の推奨アルゴリズムの性能を向上させることができることが検証された。
具体的には,NDCGの代表的な指標として,既存の手法よりも最大34.7%の改善を実現している。
コードはhttps://github.com/renqii/DVR.comで公開されている。
関連論文リスト
- Statistical Uncertainty Quantification for Aggregate Performance Metrics in Machine Learning Benchmarks [0.0]
複数のタスクにまたがって集約されたメトリクスの不確かさを定量化するために,統計的手法がいかに用いられるかを示す。
これらの技術は、全体的なパフォーマンスが劣っているにもかかわらず、特定のタスクに対する特定のモデルの優位性のような洞察を浮き彫りにする。
論文 参考訳（メタデータ） (2025-01-08T02:17:34Z) - Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。
このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。
生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
論文 参考訳（メタデータ） (2024-11-21T02:30:53Z) - Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。
本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
論文 参考訳（メタデータ） (2024-03-21T10:31:11Z) - A Novel Metric for Measuring Data Quality in Classification Applications
(extended version) [0.0]
データ品質を測定するための新しい指標を紹介し説明する。
この尺度は、分類性能とデータの劣化の相関した進化に基づいている。
各基準の解釈と評価レベルの例を提供する。
論文 参考訳（メタデータ） (2023-12-13T11:20:09Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - Exploring validation metrics for offline model-based optimisation with
diffusion models [50.404829846182764]
モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。
モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。
本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
論文 参考訳（メタデータ） (2022-11-19T16:57:37Z) - Data Optimisation for a Deep Learning Recommender System [0.0]
本稿では,レコメンデーションシステムにおけるユーザデータの収集に関するプライバシー保護要件について論じる。
まず、データ収集の制限がRNNベースのレコメンデーションのテスト品質を損なうかどうかを問う。
第2に、二次データソースを使用することで、最小限のデータの下で品質を向上できるかを問う。
論文 参考訳（メタデータ） (2021-06-21T16:05:37Z) - MetricOpt: Learning to Optimize Black-Box Evaluation Metrics [21.608384691401238]
誤分類率やリコールなどのタスク評価指標を任意に最適化する問題について検討する。
MetricOptと呼ばれる私たちの方法は、ターゲットメトリックの計算詳細が不明なブラックボックス設定で動作します。
我々は、コンパクトなタスク固有のモデルパラメータを計量観測にマップする微分可能値関数を学習することでこれを達成する。
論文 参考訳（メタデータ） (2021-04-21T16:50:01Z) - GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。
10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。
また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文 参考訳（メタデータ） (2020-10-24T08:30:20Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。