論文の概要: Predictive Models in Sequential Recommendations: Bridging Performance Laws with Data Quality Insights

• arxiv url: http://arxiv.org/abs/2412.00430v4
• Date: Mon, 16 Dec 2024 07:46:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:51:36.208104
• Title: Predictive Models in Sequential Recommendations: Bridging Performance Laws with Data Quality Insights
• Title（参考訳）: シーケンスレコメンデーションにおける予測モデル - データ品質指標によるパフォーマンス法則のブリッジ
• Authors: Tingjia Shen, Hao Wang, Chuhan Wu, Jin Yao Chin, Wei Guo, Yong Liu, Huifeng Guo, Defu Lian, Ruiming Tang, Enhong Chen,
• Abstract要約: 本稿では,モデル性能とデータ品質の関係を理論的に検討し,モデル化することを目的としたSRモデルの性能法則を紹介する。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
• 参考スコア（独自算出の注目度）: 104.48511402784763
• License:
• Abstract: Sequential Recommendation (SR) plays a critical role in predicting users' sequential preferences. Despite its growing prominence in various industries, the increasing scale of SR models incurs substantial computational costs and unpredictability, challenging developers to manage resources efficiently. Under this predicament, Scaling Laws have achieved significant success by examining the loss as models scale up. However, there remains a disparity between loss and model performance, which is of greater concern in practical applications. Moreover, as data continues to expand, it incorporates repetitive and inefficient data. In response, we introduce the Performance Law for SR models, which aims to theoretically investigate and model the relationship between model performance and data quality. Specifically, we first fit the HR and NDCG metrics to transformer-based SR models. Subsequently, we propose Approximate Entropy (ApEn) to assess data quality, presenting a more nuanced approach compared to traditional data quantity metrics. Our method enables accurate predictions across various dataset scales and model sizes, demonstrating a strong correlation in large SR models and offering insights into achieving optimal performance for any given model configuration.
• Abstract（参考訳）: シーケンシャルレコメンデーション(SR)は、ユーザのシーケンシャルな嗜好を予測する上で重要な役割を果たす。 様々な産業で人気が高まりつつあるにもかかわらず、SRモデルの規模が大きくなると、かなりの計算コストと予測不可能が生まれ、開発者は効率的に資源を管理することを困難にしている。 この状況下では、スケーリング法則は、モデルをスケールアップする際の損失を調べることで、大きな成功を収めています。 しかし、損失とモデル性能の間には相違点があり、これは実際的な応用において大きな関心事である。 さらに、データが拡張され続けるにつれて、反復的かつ非効率なデータが組み込まれます。 そこで本研究では,モデル性能とデータ品質の関係を理論的に検討し,モデル化することを目的としたSRモデルの性能法則を提案する。 具体的には、まずHRとNDCGのメトリクスを変換器ベースのSRモデルに適合させる。 次に、データ品質を評価するために、従来のデータ量指標と比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。 提案手法は,データセットのスケールやモデルサイズを正確に予測し,大きなSRモデルに強い相関関係を示し,任意のモデル構成に対して最適な性能を実現するための洞察を提供する。

関連論文リスト

• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• Semi-Supervised Reward Modeling via Iterative Self-Training [52.48668920483908]
  本稿では,未ラベルデータを用いたRMトレーニングを強化する手法であるSemi-Supervised Reward Modeling (SSRM)を提案する。 SSRMは、追加のラベリングコストを発生させることなく、報酬モデルを大幅に改善することを示した。 全体として、SSRMは、人間が注釈付けした大量のデータへの依存を大幅に減らし、効果的な報酬モデルのトレーニングに要する全体的なコストと時間を削減する。
  論文  参考訳（メタデータ） (2024-09-10T22:57:58Z)
• STLM Engineering Report: Dropout [4.3600359083731695]
  オーバーフィッティングシナリオでは,ドロップアウトが依然として有効であり,過剰なデータであってもモデルの適合性を改善するための何らかの関連性があることが判明した。 このプロセスでは、この性能向上の背後にあるメカニズムに関する既存の説明は、言語モデリングでは適用できないことがわかった。
  論文  参考訳（メタデータ） (2024-09-09T08:24:29Z)
• Comparative Analysis of Transformers for Modeling Tabular Data: A Casestudy using Industry Scale Dataset [1.0758036046280266]
  この研究は、American Expressの合成データセットとデフォルト予測Kaggleデータセット(2022)の両方を用いて、様々なトランスフォーマーベースのモデルを広範囲に検証する。 本稿では、最適データ前処理に関する重要な知見を提示し、事前学習と直接教師付き学習法を比較し、分類的特徴と数値的特徴を管理するための戦略について議論し、計算資源と性能のトレードオフを強調する。
  論文  参考訳（メタデータ） (2023-11-24T08:16:39Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Scaling Laws Do Not Scale [54.72120385955072]
  最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。 このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。 異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-07-05T15:32:21Z)
• CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal Relationships [8.679073301435265]
  既存のデータに摂動を適用することにより、モデルロバスト性の評価と改善のための新しいベンチマークを構築する。 我々はこれらのラベルを使用して、現場から非因果的エージェントを削除することでデータを摂動する。 非因果摂動下では, minADE の相対的な変化は, 原型と比較して25$-$38%である。
  論文  参考訳（メタデータ） (2022-07-07T21:28:23Z)
• Factorized Structured Regression for Large-Scale Varying Coefficient Models [1.3282354370017082]
  スケーラブルな可変係数モデルのためのファStR(Factized Structured Regression)を提案する。 FaStRは、ニューラルネットワークベースのモデル実装において、構造化された追加回帰と分解のアプローチを組み合わせることで、大規模データの一般的な回帰モデルの制限を克服する。 実験結果から, 提案手法の各種係数の推定は, 最先端の回帰手法と同等であることが確認された。
  論文  参考訳（メタデータ） (2022-05-25T23:12:13Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。