論文の概要: LazFormer: Scaling Transformers for Industrial Recommendation via Transferable Generative Pre-training

• arxiv url: http://arxiv.org/abs/2609.14978v1
• Date: Mon, 14 Sep 2026 03:31:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.057881
• Title: LazFormer: Scaling Transformers for Industrial Recommendation via Transferable Generative Pre-training
• Title（参考訳）: LazFormer:Transferable Generative Pre-Trainingによる産業レコメンデーション用スケーリングトランスフォーマー
• Abstract要約: 本稿では,LazFormer と呼ばれるTransferable Generative Pre-Training を利用した産業推薦用スケーリングトランスフォーマを提案する。 具体的には、まず、逐次的特徴を自動回帰生成する生成事前学習モジュールを提案する。 そこで我々は,追加のランク特化特徴を残差に注入する移動可能な残差アダプタを提案する。
• 参考スコア（独自算出の注目度）: 15.987387096597496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers have shown promising performance in LLMs due to their outstanding scalability, several studies have investigated the scalability of Transformers for industrial recommendation. They typically rely on a single ranking model to optimize both sparse and dense parameters from scratch, resulting in substantial computational resource consumption and slow convergence. Fortunately, the pre-training models offer an effective solution to the above issues by providing favorable initialization of both sparse and dense parameters for the subsequent ranking. However, they still face two major limitations: (1) Since the input features used in pre-training and ranking are usually inconsistent, directly transferring dense parameters from pre-training to ranking may lead to negative transfer. (2) Multi-epoch training during the ranking process may result in the overfitting of sparse parameters, while freezing the sparse parameters limits their adaptability to the ranking objectives. To this end, we propose a Scaling Transformer for Industrial Recommendation via Transferable Generative Pre-training, termed LazFormer. Specifically, we first present a generative pre-training module to autoregressively generate sequential features, providing favorable initialization of both sparse and dense parameters for the subsequent ranking. To solve the negative transfer of dense parameters, we propose a transferable residual adapter that injects additional ranking-specific features into ranking in a residual manner. Moreover, a request-aware ranking module integrates long-sequence compression, hybrid sparse attention, and a request-aware paradigm to efficiently model users' long sequences. Besides, we further propose an asymmetric multi-epoch training strategy that resets sparse parameters while continuously accumulating dense parameters across epochs, alleviating the overfitting of sparse parameters.
• Abstract（参考訳）: トランスフォーマーは、その優れたスケーラビリティのために、LCMにおいて有望な性能を示しており、いくつかの研究は、産業用レコメンデーションのためのトランスフォーマーのスケーラビリティについて研究している。 彼らは通常、スパースパラメータと密度パラメータの両方をスクラッチから最適化するために単一のランキングモデルに依存しており、計算資源のかなりの消費と収束の遅さをもたらす。 幸いなことに、事前学習モデルは、後続のランキングに対してスパースパラメータと密度パラメータの両方を好ましい初期化を提供することで、上記の問題に対する効果的な解決策を提供する。 しかし、(1)事前訓練とランク付けで使用される入力特徴は通常矛盾しているため、事前訓練からランク付けへの高密度パラメータの直接転送は負の転送につながる可能性がある。 2) ランキング過程におけるマルチエポックトレーニングはスパースパラメータの過度な適合を招き, スパースパラメータの凍結によりランキング対象への適応性が制限される可能性がある。 そこで本稿では,Transferable Generative Pre-Training (LazFormer) による産業レコメンデーションのためのスケーリングトランスフォーマーを提案する。 具体的には、まず、逐次的特徴を自動回帰的に生成する生成事前学習モジュールを提案し、その後のランキングにスパースパラメータと密度パラメータの両方を優先的に初期化する。 そこで我々は,高密度パラメータの負の移動を解決するために,付加的なランク特化特徴を残留的に注入するトランスファタブル残差アダプタを提案する。 さらに、リクエスト対応ランキングモジュールは、ロングシーケンス圧縮、ハイブリッドスパースアテンション、リクエスト対応パラダイムを統合し、ユーザのロングシーケンスを効率的にモデル化する。 さらに、スパースパラメータをリセットし、エポック間の密集パラメータを連続的に蓄積し、スパースパラメータの過度な適合を緩和する非対称マルチエポックトレーニング戦略を提案する。

関連論文リスト

• TS-Memory: Plug-and-Play Memory for Time Series Foundation Models [63.21390142212087]
  Time Series Foundation Models (TSFM) は大規模な事前訓練を通じて強力なゼロショット予測を実現する。 パラメトリック適応は破滅的な忘れを招き、非パラメトリック検索は予測を改善するが、データストア検索によってレイテンシが高くなる。 本稿では, TSFM を拡張した軽量メモリアダプタ TS-Memory としてParametric Memory Distillation を提案し,実装する。
  論文  参考訳（メタデータ） (2026-02-12T04:16:19Z)
• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• Compressing Sine-Activated Low-Rank Adapters through Post-Training Quantization [25.441086332799348]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整の標準手法となっている。 正弦波変換フレームワークを量子化LoRAアダプタに拡張する。
  論文  参考訳（メタデータ） (2025-05-28T02:15:15Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Few-Shot Class Incremental Learning via Robust Transformer Approach [16.590193619691416]
  Few-Shot Class-Incremental Learningは,データ不足の問題にモデルが直面しているクラス増分学習問題の拡張を提示する。 この問題は、最近のすべての研究が、準最適に実行される畳み込みニューラルネットワークの上に構築されているため、未解決の問題のままである。 本稿では,コンパクト畳み込み変換器を用いたロバスト変換器を提案する。
  論文  参考訳（メタデータ） (2024-05-08T03:35:52Z)
• PVP: Pre-trained Visual Parameter-Efficient Tuning [29.05396521860764]
  大規模事前学習型トランスフォーマーは、様々なコンピュータビジョンタスクにおいて顕著な成功を収めている。 計算とストレージのコストが高いため、これらのモデルを下流タスクのために完全に微調整することは依然として非常に困難である。 事前学習型ビジュアルを提案する。 効率的な(PVP)チューニングフレームワーク - 最初にパラメータ効率のチューニングモジュールを事前トレーニングし、次に事前トレーニングされたモジュールを活用する。
  論文  参考訳（メタデータ） (2023-04-26T15:55:29Z)
• RegFormer: An Efficient Projection-Aware Transformer Network for Large-Scale Point Cloud Registration [73.69415797389195]
  本稿では,大規模クラウドアライメントのためのエンドツーエンドトランス (RegFormer) ネットワークを提案する。 具体的には、プロジェクション対応階層変換器を提案し、長距離依存を捕捉し、外乱をフィルタする。 我々の変圧器は線形複雑であり、大規模シーンでも高い効率が保証される。
  論文  参考訳（メタデータ） (2023-03-22T08:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。