論文の概要: Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy

• arxiv url: http://arxiv.org/abs/2412.00430v6
• Date: Wed, 19 Feb 2025 09:23:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:56:43.630385
• Title: Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy
• Title（参考訳）: スケーリング法則と近似エントロピーを用いた逐次勧告モデルの最適化
• Authors: Tingjia Shen, Hao Wang, Chuhan Wu, Jin Yao Chin, Wei Guo, Yong Liu, Huifeng Guo, Defu Lian, Ruiming Tang, Enhong Chen,
• Abstract要約: SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
• 参考スコア（独自算出の注目度）: 104.48511402784763
• License:
• Abstract: Scaling Laws have emerged as a powerful framework for understanding how model performance evolves as they increase in size, providing valuable insights for optimizing computational resources. In the realm of Sequential Recommendation (SR), which is pivotal for predicting users' sequential preferences, these laws offer a lens through which to address the challenges posed by the scalability of SR models. However, the presence of structural and collaborative issues in recommender systems prevents the direct application of the Scaling Law (SL) in these systems. In response, we introduce the Performance Law for SR models, which aims to theoretically investigate and model the relationship between model performance and data quality. Specifically, we first fit the HR and NDCG metrics to transformer-based SR models. Subsequently, we propose Approximate Entropy (ApEn) to assess data quality, presenting a more nuanced approach compared to traditional data quantity metrics. Our method enables accurate predictions across various dataset scales and model sizes, demonstrating a strong correlation in large SR models and offering insights into achieving optimal performance for any given model configuration.
• Abstract（参考訳）: スケール法則は、サイズが大きくなるにつれてモデルパフォーマンスがどのように進化するかを理解するための強力なフレームワークとして現れ、計算資源を最適化するための貴重な洞察を提供する。 ユーザのシーケンシャルな嗜好を予測する上で重要なシーケンスレコメンデーション(Sequential Recommendation, SR)の領域では、これらの法則は、SRモデルのスケーラビリティによって引き起こされる課題に対処するためのレンズを提供する。 しかしながら、レコメンデータシステムにおける構造的および協調的な問題の存在は、これらのシステムにおけるスケーリング法(SL)の直接的な適用を妨げる。 そこで本研究では,モデル性能とデータ品質の関係を理論的に検討し,モデル化することを目的としたSRモデルの性能法則を提案する。 具体的には、まずHRとNDCGのメトリクスを変換器ベースのSRモデルに適合させる。 次に、データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。 提案手法は,データセットのスケールやモデルサイズを正確に予測し,大きなSRモデルに強い相関関係を示し,任意のモデル構成に対して最適な性能を実現するための洞察を提供する。

関連論文リスト

• Exploring Patterns Behind Sports [3.2838877620203935]
  本稿では、ARIMAとLSTMを組み合わせたハイブリッドモデルを用いて、時系列予測のための包括的なフレームワークを提案する。 このモデルには埋め込みやPCAといった機能エンジニアリング技術が組み込まれており、生データを低次元の表現に変換する。
  論文  参考訳（メタデータ） (2025-02-11T11:51:07Z)
• Scaling New Frontiers: Insights into Large Recommendation Models [74.77410470984168]
  MetaのジェネレーティブレコメンデーションモデルHSTUは、パラメータを数千億に拡張することでレコメンデーションシステムのスケーリング法則を説明している。 我々は、これらのスケーリング法則の起源を探るため、包括的なアブレーション研究を行っている。 大規模なレコメンデーションモデルの今後の方向性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-01T07:27:20Z)
• Enhancing Few-Shot Learning with Integrated Data and GAN Model Approaches [35.431340001608476]
  本稿では,データ拡張とモデルファインチューニングを融合することで,少数ショット学習を向上するための革新的なアプローチを提案する。 薬物発見、ターゲット認識、悪意のあるトラフィック検出などの分野で、小さなサンプルデータによって引き起こされる課題に対処することを目的としている。 その結果,本研究で開発されたMhERGANアルゴリズムは,数発の学習に極めて有効であることが確認された。
  論文  参考訳（メタデータ） (2024-11-25T16:51:11Z)
• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• More Compute Is What You Need [3.184416958830696]
  モデル性能はトランスフォーマーモデルに費やされる計算量に大きく依存することを示す新しいスケーリング法則を提案する。 a)推論効率、トレーニングは、より小さなモデルサイズとより大きなトレーニングデータセットを優先すべきであり、(b)利用可能なWebデータセットの枯渇を前提として、モデルサイズをスケールすることが、モデルパフォーマンスをさらに改善するための唯一の方法である、と予測する。
  論文  参考訳（メタデータ） (2024-04-30T12:05:48Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Learning Distributionally Robust Models at Scale via Composite Optimization [45.47760229170775]
  DROの異なる変種が、スケーラブルな方法を提供する有限サム合成最適化の単なる例であることを示す。 また、非常に大規模なデータセットからロバストなモデルを学ぶために、先行技術に関して提案アルゴリズムの有効性を示す実験結果も提供する。
  論文  参考訳（メタデータ） (2022-03-17T20:47:42Z)
• Learning to Refit for Convex Learning Problems [11.464758257681197]
  ニューラルネットワークを用いて、異なるトレーニングセットに対して最適化されたモデルパラメータを推定するフレームワークを提案する。 我々は、凸問題を近似するためにニューラルネットワークのパワーを厳格に特徴づける。
  論文  参考訳（メタデータ） (2021-11-24T15:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。