論文の概要: From Variability to Stability: Advancing RecSys Benchmarking Practices

• arxiv url: http://arxiv.org/abs/2402.09766v2
• Date: Tue, 27 Aug 2024 13:01:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 19:49:00.161657
• Title: From Variability to Stability: Advancing RecSys Benchmarking Practices
• Title（参考訳）: 変数から安定性へ:RecSysベンチマークの実践を促進する
• Authors: Valeriy Shevchenko, Nikita Belousov, Alexey Vasilev, Vladimir Zholobov, Artyom Sosedka, Natalia Semenova, Anna Volodkevich, Andrey Savchenko, Alexey Zaytsev,
• Abstract要約: 本稿では,RecSysアルゴリズムの公平かつ堅牢な比較を容易にするため,新しいベンチマーク手法を提案する。 本研究で導入された2つを含む30ドルのオープンデータセットの多種多様なセットを利用することで、データセット特性がアルゴリズム性能に与える影響を批判的に検証する。
• 参考スコア（独自算出の注目度）: 3.3331198926331784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the rapidly evolving domain of Recommender Systems (RecSys), new algorithms frequently claim state-of-the-art performance based on evaluations over a limited set of arbitrarily selected datasets. However, this approach may fail to holistically reflect their effectiveness due to the significant impact of dataset characteristics on algorithm performance. Addressing this deficiency, this paper introduces a novel benchmarking methodology to facilitate a fair and robust comparison of RecSys algorithms, thereby advancing evaluation practices. By utilizing a diverse set of $30$ open datasets, including two introduced in this work, and evaluating $11$ collaborative filtering algorithms across $9$ metrics, we critically examine the influence of dataset characteristics on algorithm performance. We further investigate the feasibility of aggregating outcomes from multiple datasets into a unified ranking. Through rigorous experimental analysis, we validate the reliability of our methodology under the variability of datasets, offering a benchmarking strategy that balances quality and computational demands. This methodology enables a fair yet effective means of evaluating RecSys algorithms, providing valuable guidance for future research endeavors.
• Abstract（参考訳）: 急速に進化するRecommender Systems(RecSys)のドメインでは、任意の選択されたデータセットの限られたセットに対する評価に基づいて、新しいアルゴリズムはしばしば最先端のパフォーマンスを主張する。 しかし、アルゴリズムの性能にデータセット特性が大きな影響を与えるため、このアプローチは、その効果を総じて反映することができないかもしれない。 本稿では,RecSysアルゴリズムの公平かつ堅牢な比較を容易にするため,新しいベンチマーク手法を提案する。 この研究で導入された2つを含む30ドルのオープンデータセットの多種多様なセットを活用し、9ドルのメトリクスにわたる11ドルのコラボレーティブフィルタリングアルゴリズムを評価することで、データセット特性がアルゴリズムのパフォーマンスに与える影響を批判的に検証する。 さらに、複数のデータセットから統合されたランキングへの集約結果の実現可能性について検討する。 厳密な実験分析を通じて、データセットの変動性の下での方法論の信頼性を検証し、品質と計算要求のバランスをとるベンチマーク戦略を提供する。 この手法は、RecSysアルゴリズムを評価するための公平で効果的な手段を可能にし、将来の研究に有用なガイダンスを提供する。

関連論文リスト

• Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
  我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。 分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。 BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-09-21T18:39:53Z)
• RHiOTS: A Framework for Evaluating Hierarchical Time Series Forecasting Algorithms [0.393259574660092]
  RHiOTSは、階層的な時系列予測モデルとアルゴリズムを実世界のデータセット上で堅牢性を評価するように設計されている。 RHiOTSは、複雑な多次元ロバストネス評価結果を直感的で容易に解釈可能なビジュアルに変換する革新的な可視化コンポーネントを組み込んでいる。 従来の統計的手法は、変換効果が非常に破壊的である場合を除き、最先端のディープラーニングアルゴリズムよりも頑健であることを示す。
  論文  参考訳（メタデータ） (2024-08-06T18:52:15Z)
• Are we making progress in unlearning? Findings from the first NeurIPS unlearning competition [70.60872754129832]
  アンラーニングに関する最初のNeurIPSコンペティションは、新しいアルゴリズムの開発を刺激しようとした。 世界中から約1200チームが参加した。 トップソリューションを分析し、アンラーニングのベンチマークに関する議論を掘り下げます。
  論文  参考訳（メタデータ） (2024-06-13T12:58:00Z)
• Neural Dynamic Data Valuation [4.286118155737111]
  ニューラルダイナミックデータ評価(NDDV)という最適制御の観点から,新しいデータ評価手法を提案する。 本手法は,データ最適制御状態の感度を用いて,データ評価を正確に識別する理論的解釈を持つ。 さらに,データポイントのユニークな特徴を捉え,データポイントと平均場状態の相互作用による公平性を確保するために,データ再重み付け戦略を実装した。
  論文  参考訳（メタデータ） (2024-04-30T13:39:26Z)
• Evolutionary Multi-Objective Optimisation for Fairness-Aware Self Adjusting Memory Classifiers in Data Streams [2.8366371519410887]
  本稿では,データストリーム分類に適用した機械学習アルゴリズムの公平性を高める新しい手法を提案する。 提案手法は、自己調整メモリK-Nearest-Neighbourアルゴリズムと進化的多目的最適化の長所を統合する。 提案手法は競争精度を維持し, 差別を著しく低減することを示す。
  論文  参考訳（メタデータ） (2024-04-18T10:59:04Z)
• High-dimensional Contextual Bandit Problem without Sparsity [8.782204980889077]
  本稿では,この問題に対処し,その性能を検証するための探索列コミット(EtC)アルゴリズムを提案する。 我々は、ETCアルゴリズムの最適レートを$T$で導出し、探索とエクスプロイトのバランスをとることで、このレートを実現できることを示す。 本稿では,最適バランスを適応的に求める適応探索定理 (AEtC) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-19T15:29:32Z)
• Improved Policy Evaluation for Randomized Trials of Algorithmic Resource Allocation [54.72195809248172]
  提案する新しい概念を応用した新しい推定器を提案する。 我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
  論文  参考訳（メタデータ） (2023-02-06T05:17:22Z)
• Doing Great at Estimating CATE? On the Neglected Assumptions in Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
  もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。 異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。 ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
  論文  参考訳（メタデータ） (2021-07-28T13:21:27Z)
• Test Score Algorithms for Budgeted Stochastic Utility Maximization [12.360522095604983]
  既存のスコアリング機構、すなわちレプリケーションテストスコアを拡張して、異種アイテムのコストとアイテムの値を統合する。 我々のアルゴリズムと近似は、テストスコアが特定の期待値のノイズ見積もりであると仮定する。 我々は,我々のアルゴリズムが,同じ近似保証を維持しながら,商品が同じ方法で到着する状況に適応できることを示す。
  論文  参考訳（メタデータ） (2020-12-30T15:28:41Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
  データ管理の統合コンポーネントにおける公平性について検討する。 本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T20:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。