論文の概要: Where Do We Go From Here? Guidelines For Offline Recommender Evaluation
- arxiv url: http://arxiv.org/abs/2211.01261v1
- Date: Wed, 2 Nov 2022 16:41:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-03 13:55:55.287376
- Title: Where Do We Go From Here? Guidelines For Offline Recommender Evaluation
- Title（参考訳）: ここからどこへ行くのか?
オフライン推薦者評価ガイドライン
- Authors: Tobias Schnabel
- Abstract要約: TrainRecはオフライントレーニングとレコメンダシステムの評価のための軽量で柔軟なツールキットである。
TrainRecの有用性は、10つのデータセットにまたがる12のベースラインの多様なセットを評価することで実証する。
- 参考スコア（独自算出の注目度）: 6.447052211404121
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Various studies in recent years have pointed out large issues in the offline
evaluation of recommender systems, making it difficult to assess whether true
progress has been made. However, there has been little research into what set
of practices should serve as a starting point during experimentation. In this
paper, we examine four larger issues in recommender system research regarding
uncertainty estimation, generalization, hyperparameter optimization and dataset
pre-processing in more detail to arrive at a set of guidelines. We present a
TrainRec, a lightweight and flexible toolkit for offline training and
evaluation of recommender systems that implements these guidelines. Different
from other frameworks, TrainRec is a toolkit that focuses on experimentation
alone, offering flexible modules that can be can be used together or in
isolation.
Finally, we demonstrate TrainRec's usefulness by evaluating a diverse set of
twelve baselines across ten datasets. Our results show that (i) many results on
smaller datasets are likely not statistically significant, (ii) there are at
least three baselines that perform well on most datasets and should be
considered in future experiments, and (iii) improved uncertainty quantification
(via nested CV and statistical testing) rules out some reported differences
between linear and neural methods. Given these results, we advocate that future
research should standardize evaluation using our suggested guidelines.
- Abstract（参考訳）: 近年の様々な研究では、レコメンデータシステムのオフライン評価において大きな問題が指摘されており、真の進歩が達成されたかどうかを判断することは困難である。
しかし、実験の出発点となるプラクティスのセットについてはほとんど研究されていない。
本稿では,不確実性推定,一般化,ハイパーパラメータ最適化,データセット前処理に関する推薦システム研究において,より詳細な4つの課題を概説する。
このガイドラインを実装したリコメンデータシステムの評価とオフライントレーニングのための軽量で柔軟なツールキットTrainRecを提案する。
他のフレームワークとは異なり、trainrecは実験のみに焦点を当てたツールキットであり、一緒に使用したり、分離したりできる柔軟なモジュールを提供する。
最後に、10つのデータセットにまたがる12のベースラインの多様なセットを評価することで、TrainRecの有用性を実証する。
私たちの結果は
(i)小さいデータセットの多くの結果は統計的に有意ではない可能性が高い。
(ii)ほとんどのデータセットでよく機能する少なくとも3つのベースラインがあり、将来の実験で考慮すべきである。
3) ネストCVおよび統計検査による不確実性定量化の改善により, 線形法とニューラル法の違いが報告されている。
これらの結果を踏まえ、将来の研究は提案するガイドラインを用いて評価を標準化すべきだと提唱する。
関連論文リスト
- CURE4Rec: A Benchmark for Recommendation Unlearning with Deeper Influence [55.21518669075263]
CURE4Recは、レコメンデーションアンラーニング評価のための最初の包括的なベンチマークである。
さまざまな影響レベルのデータに対する推薦公正性と堅牢性に対するアンラーニングの影響について検討する。
論文 参考訳（メタデータ） (2024-08-26T16:21:50Z) - Robust and Explainable Fine-Grained Visual Classification with Transfer Learning: A Dual-Carriageway Framework [0.799543372823325]
我々は、Dual-Carriageway Framework (DCF) という自動ベストスーツトレーニングソリューション検索フレームワークを提案する。
3つの畳み込みニューラルネットワーク(ResNet18、ResNet34、Inception-v3)を用いてDCFの有効性を検証する。
その結果、既存のデータセットと新しいデータセットでそれぞれ2.13%、1.23%の微調整パスのパフォーマンスが向上した。
論文 参考訳（メタデータ） (2024-05-09T15:41:10Z) - Epsilon non-Greedy: A Bandit Approach for Unbiased Recommendation via
Uniform Data [3.2534959204741085]
近年の研究では、少量の偏りのないデータを収集することで、自己フィードバックループバイアスを軽減する試みが行われている。
本稿では,一様に収集された少量のデータを用いて,偏りのない推定器を学習するフレームワークを提案する。
我々は、リコメンデーションシステムにおける実世界の継続的トレーニングシナリオをシミュレートする、新しいオフラインシーケンシャルトレーニングスキーマを導入する。
論文 参考訳（メタデータ） (2023-10-07T15:31:15Z) - Unsupervised Embedding Quality Evaluation [6.72542623686684]
SSLモデルは、他のドメインに転送された時に正常に動作するかどうか、しばしば不明である。
安定した方法でデータを線形に分離することがいかに容易か、定量化できますか?
本稿では,自己教師付き学習における高次元幾何学構造理解の最近の進歩に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-26T01:06:44Z) - Efficient Online Reinforcement Learning with Offline Data [78.92501185886569]
オンライン学習時にオフラインデータを活用するために、既存のオフライン手法を単純に適用できることを示します。
私たちはこれらの設計選択を広範囲に改善し、パフォーマンスに最も影響を与える重要な要因を示します。
これらのシンプルなレコメンデーションの正しい適用によって、既存のアプローチよりも$mathbf2.5times$の改善が得られます。
論文 参考訳（メタデータ） (2023-02-06T17:30:22Z) - Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。
複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。
データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文 参考訳（メタデータ） (2022-10-17T05:40:13Z) - Improved Fine-tuning by Leveraging Pre-training Data: Theory and
Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。
近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。
本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文 参考訳（メタデータ） (2021-11-24T06:18:32Z) - Neural Code Summarization: How Far Are We? [30.324396716447602]
ディープラーニング技術を利用して、与えられたコードスニペットの要約を自動的に生成する。
本稿では,5つの最先端のニューラルネットワークの要約モデルについて,系統的かつ詳細な解析を行う。
論文 参考訳（メタデータ） (2021-07-15T04:33:59Z) - Do Offline Metrics Predict Online Performance in Recommender Systems? [79.48653445643865]
6つのシミュレーション環境におけるレコメンデータの評価により,オフラインメトリクスがオンラインのパフォーマンスを予測する程度について検討した。
オフラインメトリクスは、様々な環境におけるオンラインのパフォーマンスと相関している。
本研究は,探索戦略の追加による影響について検討し,その有効性はレコメンデーションアルゴリズムに大きく依存していることを示す。
論文 参考訳（メタデータ） (2020-11-07T01:41:13Z) - S^3-Rec: Self-Supervised Learning for Sequential Recommendation with
Mutual Information Maximization [104.87483578308526]
本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。
そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。
6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
論文 参考訳（メタデータ） (2020-08-18T11:44:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。