論文の概要: Principled Synthetic Data Enables the First Scaling Laws for LLMs in Recommendation

• arxiv url: http://arxiv.org/abs/2602.07298v1
• Date: Sat, 07 Feb 2026 01:15:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.558642
• Title: Principled Synthetic Data Enables the First Scaling Laws for LLMs in Recommendation
• Title（参考訳）: 原則的合成データによるレコメンデーションにおけるLCMのスケーリング法則の実現
• Authors: Benyu Zhang, Qiang Zhang, Jianpeng Cheng, Hong-You Chen, Qifei Wang, Wei Sun, Shen Li, Jia Li, Jiahao Wu, Xiangjun Fan, Hong Yan,
• Abstract要約: 大規模言語モデル(LLM)は推薦システムにとって有望なフロンティアである。 本稿では,高品質な合成データを生成するための新しい階層化フレームワークを提案する。 われわれは、当社の高品質なレコメンデーション特化データに基づいて、継続的に事前訓練されたLSMの堅牢なパワーロースケーリングを、初めて実証的に実証した。
• 参考スコア（独自算出の注目度）: 27.59197535041953
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) represent a promising frontier for recommender systems, yet their development has been impeded by the absence of predictable scaling laws, which are crucial for guiding research and optimizing resource allocation. We hypothesize that this may be attributed to the inherent noise, bias, and incompleteness of raw user interaction data in prior continual pre-training (CPT) efforts. This paper introduces a novel, layered framework for generating high-quality synthetic data that circumvents such issues by creating a curated, pedagogical curriculum for the LLM. We provide powerful, direct evidence for the utility of our curriculum by showing that standard sequential models trained on our principled synthetic data significantly outperform ($+130\%$ on recall@100 for SasRec) models trained on real data in downstream ranking tasks, demonstrating its superiority for learning generalizable user preference patterns. Building on this, we empirically demonstrate, for the first time, robust power-law scaling for an LLM that is continually pre-trained on our high-quality, recommendation-specific data. Our experiments reveal consistent and predictable perplexity reduction across multiple synthetic data modalities. These findings establish a foundational methodology for reliable scaling LLM capabilities in the recommendation domain, thereby shifting the research focus from mitigating data deficiencies to leveraging high-quality, structured information.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、レコメンダシステムにとって有望なフロンティアであるが、その開発は、研究の指導とリソース割り当ての最適化に不可欠な、予測可能なスケーリング法則の欠如によって妨げられている。 本研究は,CPT(Continuous Pre-training)活動における生ユーザインタラクションデータの固有ノイズ,バイアス,不完全性に起因する可能性があると仮定する。 本稿では,LLMのカリキュラムをカリキュラム化することで,このような問題を回避し,高品質な合成データを生成するための新しい階層化フレームワークを提案する。 我々は,本カリキュラムの有効性を示す強力な直接的証拠として,我々の原理的合成データに基づいてトレーニングした標準逐次モデルが,下流ランキングタスクにおいて実データでトレーニングしたモデル($+130\%$ on recall@100 for SasRec)よりも優れていることを示すとともに,一般化可能なユーザ嗜好パターンの学習においてその優位性を示す。 これに基づいて、私たちは初めて、私たちの高品質でレコメンデーション固有のデータに基づいて継続的に事前訓練されたLSMのための堅牢なパワーロースケーリングを実証的に実証します。 実験により、複数の合成データモダリティにまたがる一貫性と予測可能なパープレキシティの低減が明らかになった。 これらの知見は、レコメンデーション領域におけるLCM機能の信頼性向上のための基礎的方法論を確立し、データ不足の軽減から高品質な構造化情報の利用へと研究の焦点を移す。

関連論文リスト

• The LLM Data Auditor: A Metric-oriented Survey on Quality and Trustworthiness in Evaluating Synthetic Data [25.926467401802046]
  大規模言語モデル(LLM)は、様々なモダリティにまたがるデータを生成する強力なツールとして登場した。 本稿では,2次元から合成データを評価するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-25T06:40:25Z)
• Towards Efficient and Effective Alignment of Large Language Models [7.853945494882636]
  大規模言語モデル(LLM)は多様なタスクにまたがる優れた能力を示すが、それらを効率的かつ効果的に人間の期待に合わせることは重要な課題である。 この論文は、データ収集、トレーニング、評価において新しい方法論を導入することで、LCMアライメントを推し進める。
  論文  参考訳（メタデータ） (2025-06-11T02:08:52Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Illuminating Blind Spots of Language Models with Targeted Agent-in-the-Loop Synthetic Data [9.982616173090264]
  言語モデル(LM)は、様々なタスクにおいて顕著な精度を達成したが、高信頼の誤分類(UU)に弱いままである。 UUは機能領域の盲点にクラスタ化され、ハイリスクなアプリケーションに重大なリスクをもたらす。 知的エージェントを教師として利用し,UU型エラーを特徴付けることによって,盲点緩和に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-26T16:49:25Z)
• Mitigating Catastrophic Forgetting in Large Language Models with Self-Synthesized Rehearsal [49.24054920683246]
  大規模言語モデル(LLM)は、連続学習中に破滅的な忘れ込みに悩まされる。 自己合成リハーサル(Self-Synthesized Rehearsal, SSR)と呼ばれるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-02T16:11:23Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。