論文の概要: Scenario-Wise Rec: A Multi-Scenario Recommendation Benchmark

• arxiv url: http://arxiv.org/abs/2412.17374v1
• Date: Mon, 23 Dec 2024 08:15:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:55:25.362053
• Title: Scenario-Wise Rec: A Multi-Scenario Recommendation Benchmark
• Title（参考訳）: Scenario-Wise Rec: マルチシナリオ推奨ベンチマーク
• Authors: Xiaopeng Li, Jingtong Gao, Pengyue Jia, Yichao Wang, Wanyu Wang, Yejing Wang, Yuhao Wang, Huifeng Guo, Ruiming Tang,
• Abstract要約: 6つの公開データセットと12のベンチマークモデルと、トレーニングと評価パイプラインで構成されるベンチマークである textbfScenario-Wise Rec を紹介します。 このベンチマークは、研究者に先行研究から貴重な洞察を提供することを目的としており、新しいモデルの開発を可能にしている。
• 参考スコア（独自算出の注目度）: 30.683250825660046
• License:
• Abstract: Multi Scenario Recommendation (MSR) tasks, referring to building a unified model to enhance performance across all recommendation scenarios, have recently gained much attention. However, current research in MSR faces two significant challenges that hinder the field's development: the absence of uniform procedures for multi-scenario dataset processing, thus hindering fair comparisons, and most models being closed-sourced, which complicates comparisons with current SOTA models. Consequently, we introduce our benchmark, \textbf{Scenario-Wise Rec}, which comprises 6 public datasets and 12 benchmark models, along with a training and evaluation pipeline. Additionally, we validated the benchmark using an industrial advertising dataset, reinforcing its reliability and applicability in real-world scenarios. We aim for this benchmark to offer researchers valuable insights from prior work, enabling the development of novel models based on our benchmark and thereby fostering a collaborative research ecosystem in MSR. Our source code is also publicly available.
• Abstract（参考訳）: マルチシナリオレコメンデーション(MSR)タスクは、すべてのレコメンデーションシナリオのパフォーマンスを向上させる統一モデルの構築を指して、最近注目を集めている。 しかし、MSRにおける現在の研究は、多シナリオデータセット処理の統一手順が欠如し、公正な比較が妨げられ、ほとんどのモデルがクローズソースされ、現在のSOTAモデルとの比較が複雑になるという、この分野の発展を妨げる2つの重大な課題に直面している。 その結果,6つの公開データセットと12のベンチマークモデルと,トレーニングと評価パイプラインで構成されるベンチマークである‘textbf{Scenario-Wise Rec}’を紹介した。 さらに、産業用広告データセットを使用してベンチマークを検証し、実際のシナリオにおける信頼性と適用性を強化した。 本ベンチマークは,従来の研究から得られた貴重な知見を研究者に提供し,我々のベンチマークに基づく新しいモデルの開発を可能にし,MSRにおける協調研究のエコシステムを育むことを目的としている。 ソースコードも公開されている。

関連論文リスト

• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
  我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。 分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。 BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-09-21T18:39:53Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Adaptive Utilization of Cross-scenario Information for Multi-scenario Recommendation [11.489766641148151]
  マルチシナリオ勧告(Multi-scenario Recommendation、MSR)は、さまざまなシナリオからの情報を活用することで、ランキングパフォーマンスを向上させる重要なトピックである。 MSRの最近の手法は主に、共通性とシナリオ間の差異をモデル化するために共有または特定のモジュールを構築する。 我々は,シナリオに支配された専門家の混在により,すべてのシナリオに対処するために,CSII(Cross-Scenario Information Interaction)という統合モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-29T06:17:33Z)
• A Unified Search and Recommendation Framework Based on Multi-Scenario Learning for Ranking in E-commerce [13.991015845541257]
  統一検索・レコメンデーション(USR)のための効果的で普遍的なフレームワークを提案する。 USRは様々なマルチシナリオモデルに適用でき、性能を大幅に改善することができる。 USRは7Fresh Appでうまくデプロイされている。
  論文  参考訳（メタデータ） (2024-05-17T14:57:52Z)
• Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM Evaluation [51.99752147380505]
  本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。 マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。 我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
  論文  参考訳（メタデータ） (2024-02-18T03:40:06Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Multi-document Summarization: A Comparative Evaluation [0.0]
  本論文は,多文書要約(MDS)のための最先端モデルの評価を,様々な領域の異なるタイプのデータセット上で行うことを目的としている。 我々は,Big-SurveyおよびMS$2$データセット上でのPRIMERAおよびPEGモデルの性能を解析した。
  論文  参考訳（メタデータ） (2023-09-10T07:43:42Z)
• UMSE: Unified Multi-scenario Summarization Evaluation [52.60867881867428]
  要約品質評価は、テキスト要約における非自明なタスクである。 統一多シナリオ要約評価モデル(UMSE)を提案する。 UMSEは3つの評価シナリオで使用できる能力に係わる最初の統合要約評価フレームワークである。
  論文  参考訳（メタデータ） (2023-05-26T12:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。