論文の概要: Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy

• arxiv url: http://arxiv.org/abs/2412.00430v5
• Date: Fri, 24 Jan 2025 02:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:54:59.998417
• Title: Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy
• Title（参考訳）: スケーリング法則と近似エントロピーを用いた逐次勧告モデルの最適化
• Authors: Tingjia Shen, Hao Wang, Chuhan Wu, Jin Yao Chin, Wei Guo, Yong Liu, Huifeng Guo, Defu Lian, Ruiming Tang, Enhong Chen,
• Abstract要約: SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
• 参考スコア（独自算出の注目度）: 104.48511402784763
• License:
• Abstract: Scaling Laws have emerged as a powerful framework for understanding how model performance evolves as they increase in size, providing valuable insights for optimizing computational resources. In the realm of Sequential Recommendation (SR), which is pivotal for predicting users' sequential preferences, these laws offer a lens through which to address the challenges posed by the scalability of SR models. However, the presence of structural and collaborative issues in recommender systems prevents the direct application of the Scaling Law (SL) in these systems. In response, we introduce the Performance Law for SR models, which aims to theoretically investigate and model the relationship between model performance and data quality. Specifically, we first fit the HR and NDCG metrics to transformer-based SR models. Subsequently, we propose Approximate Entropy (ApEn) to assess data quality, presenting a more nuanced approach compared to traditional data quantity metrics. Our method enables accurate predictions across various dataset scales and model sizes, demonstrating a strong correlation in large SR models and offering insights into achieving optimal performance for any given model configuration.
• Abstract（参考訳）: スケール法則は、サイズが大きくなるにつれてモデルパフォーマンスがどのように進化するかを理解するための強力なフレームワークとして現れ、計算資源を最適化するための貴重な洞察を提供する。 ユーザのシーケンシャルな嗜好を予測する上で重要なシーケンスレコメンデーション(Sequential Recommendation, SR)の領域では、これらの法則は、SRモデルのスケーラビリティによって引き起こされる課題に対処するためのレンズを提供する。 しかしながら、レコメンデータシステムにおける構造的および協調的な問題の存在は、これらのシステムにおけるスケーリング法(SL)の直接的な適用を妨げる。 そこで本研究では,モデル性能とデータ品質の関係を理論的に検討し,モデル化することを目的としたSRモデルの性能法則を提案する。 具体的には、まずHRとNDCGのメトリクスを変換器ベースのSRモデルに適合させる。 次に、データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。 提案手法は,データセットのスケールやモデルサイズを正確に予測し,大きなSRモデルに強い相関関係を示し,任意のモデル構成に対して最適な性能を実現するための洞察を提供する。

関連論文リスト

• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• Semi-Supervised Reward Modeling via Iterative Self-Training [52.48668920483908]
  本稿では,未ラベルデータを用いたRMトレーニングを強化する手法であるSemi-Supervised Reward Modeling (SSRM)を提案する。 SSRMは、追加のラベリングコストを発生させることなく、報酬モデルを大幅に改善することを示した。 全体として、SSRMは、人間が注釈付けした大量のデータへの依存を大幅に減らし、効果的な報酬モデルのトレーニングに要する全体的なコストと時間を削減する。
  論文  参考訳（メタデータ） (2024-09-10T22:57:58Z)
• STLM Engineering Report: Dropout [4.3600359083731695]
  オーバーフィッティングシナリオでは,ドロップアウトが依然として有効であり,過剰なデータであってもモデルの適合性を改善するための何らかの関連性があることが判明した。 このプロセスでは、この性能向上の背後にあるメカニズムに関する既存の説明は、言語モデリングでは適用できないことがわかった。
  論文  参考訳（メタデータ） (2024-09-09T08:24:29Z)
• Comparative Analysis of Transformers for Modeling Tabular Data: A Casestudy using Industry Scale Dataset [1.0758036046280266]
  この研究は、American Expressの合成データセットとデフォルト予測Kaggleデータセット(2022)の両方を用いて、様々なトランスフォーマーベースのモデルを広範囲に検証する。 本稿では、最適データ前処理に関する重要な知見を提示し、事前学習と直接教師付き学習法を比較し、分類的特徴と数値的特徴を管理するための戦略について議論し、計算資源と性能のトレードオフを強調する。
  論文  参考訳（メタデータ） (2023-11-24T08:16:39Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Scaling Laws Do Not Scale [54.72120385955072]
  最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。 このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。 異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-07-05T15:32:21Z)
• CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal Relationships [8.679073301435265]
  既存のデータに摂動を適用することにより、モデルロバスト性の評価と改善のための新しいベンチマークを構築する。 我々はこれらのラベルを使用して、現場から非因果的エージェントを削除することでデータを摂動する。 非因果摂動下では, minADE の相対的な変化は, 原型と比較して25$-$38%である。
  論文  参考訳（メタデータ） (2022-07-07T21:28:23Z)
• Factorized Structured Regression for Large-Scale Varying Coefficient Models [1.3282354370017082]
  スケーラブルな可変係数モデルのためのファStR(Factized Structured Regression)を提案する。 FaStRは、ニューラルネットワークベースのモデル実装において、構造化された追加回帰と分解のアプローチを組み合わせることで、大規模データの一般的な回帰モデルの制限を克服する。 実験結果から, 提案手法の各種係数の推定は, 最先端の回帰手法と同等であることが確認された。
  論文  参考訳（メタデータ） (2022-05-25T23:12:13Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。