論文の概要: Inherit4Rec: Parameter Inheritance for Efficient Scaling of Recommendation Models
- arxiv url: http://arxiv.org/abs/2609.23111v1
- Date: Sat, 19 Sep 2026 16:27:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 17:15:47.214324
- Title: Inherit4Rec: Parameter Inheritance for Efficient Scaling of Recommendation Models
- Title（参考訳）: Inherit4Rec:Recommendation Modelの効率的なスケーリングのためのパラメータ継承
- Abstract要約: Inherit4RecはDense-to-Dense(D2D)成長とDense-to-Sparse(D2S)変換をサポートするパラメータ継承フレームワークである。
Inherit4Rec-D2Dは、ハイブリッド成長と非対称なトレーニングを組み合わせることで、拡張時の前方機能を維持し、更新継続性を維持する。
- 参考スコア（独自算出の注目度）: 42.793279651612295
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scaling model capacity has emerged as an effective approach to overcoming performance bottlenecks in industrial recommender systems. However, repeatedly training larger dense models from scratch demands substantial data and time, while their growing computation conflicts with the strict serving budgets of industrial systems. Parameter inheritance provides a promising route for both dense model growth and sparse conversion, yet existing methods are primarily designed for static corpora and can suffer sharp performance drops under dynamically evolving recommendation data. To address these challenges, we propose Inherit4Rec, a parameter-inheritance framework that supports both Dense-to-Dense (D2D) growth and Dense-to-Sparse (D2S) conversion. Inherit4Rec-D2D combines hybrid growth with asymmetric training to preserve the forward function at expansion and maintain update continuity. Inherit4Rec-D2S constructs SMoE networks through co-activation-aware partitioning and a load-balancing loss, preserving dense-model capabilities while promoting balanced expert activation. Experiments on KuaiRand-1K and an industrial short-video recommendation dataset show that both transformations consistently outperform the evaluated inheritance baselines across all prediction objectives. These results demonstrate the effectiveness of Inherit4Rec for continual capacity expansion and computation-efficient sparse conversion in industrial recommender systems.
- Abstract（参考訳）: 産業レコメンデータシステムのパフォーマンスボトルネックを克服するための効果的なアプローチとして、モデルキャパシティのスケーリングが登場している。
しかし、スクラッチからより大きな密度のモデルを繰り返し訓練することは、かなりのデータと時間を必要とする一方で、その増大する計算は、産業システムの厳格な運用予算と矛盾する。
パラメータ継承は、密度の高いモデル成長とスパース変換の両方に有望な経路を提供するが、既存の手法は主に静的コーパス用に設計されており、動的に進化するレコメンデーションデータの下で急激な性能低下を被る可能性がある。
これらの課題に対処するために、Dense-to-Dense(D2D)成長とDense-to-Sparse(D2S)変換の両方をサポートするパラメータ継承フレームワークであるInherit4Recを提案する。
Inherit4Rec-D2Dは、ハイブリッド成長と非対称なトレーニングを組み合わせることで、拡張時の前方機能を維持し、更新継続性を維持する。
Inherit4Rec-D2Sは、協調アクティベーション対応のパーティショニングと負荷分散損失によってSMoEネットワークを構築する。
KuaiRand-1Kと産業用ショートビデオレコメンデーションデータセットの実験は、両方の変換が、すべての予測目標に対して評価された継承ベースラインを一貫して上回っていることを示している。
これらの結果から,Inherit4Recが産業レコメンデータシステムにおける連続キャパシティ拡張および計算効率のスパース変換に有効であることを示す。
関連論文リスト
- TMallGS: Scaling Unified Feature and Sequence Modeling for Generative E-commerce Search [4.061689397024572]
我々はTmall検索のためのスケーラブルなランキングアーキテクチャであるTmallGSを提案する。
TmallGSは,(1)階層型分布キャリブレーショントークン化,(2)フィールド適応型ゲートトランスフォーマーバックボーン,(3)非結合FiLMレイトフュージョン,(4)コンテキスト対応バイアスネットの5つのキーコンポーネントを含む。
Tmall Searchの大規模なオフライン実験とオンラインA/Bテストにより、TmallGSはトレーニングのスループットを改善し、UCTCVRとGMVで大幅に向上した。
論文 参考訳（メタデータ） (2026-07-15T02:52:22Z) - DaV-Gen: End-to-End Generative Retrieval via Draft-and-Verify [4.546259713278263]
textbfDaV-Genは、検索とレコメンデーションの両方のパラダイムを基本として設計された、新しい統一ソリューションである。
トレーニング中、モデルは候補のドラフトと詳細な検証の両方に同時に最適化される。
これは、2つの異なるが関連する目的に基づいてモデルを共同で訓練する複合損失関数によって達成される。
論文 参考訳（メタデータ） (2026-07-09T11:22:50Z) - Beyond Quantity: Trajectory Diversity Scaling for Code Agents [51.71414642763219]
Trajectory Diversity Scalingは、コードエージェントのためのデータ合成フレームワークである。
TDScalingは、(1)実際のサービスの論理的依存関係をキャプチャするBusiness Clusterメカニズム、(2)軌道コヒーレンスを強制するブループリント駆動のマルチエージェントパラダイム、(3)ロングテールシナリオを指向する適応的な進化メカニズムの4つの革新を統合しています。
論文 参考訳（メタデータ） (2026-02-03T07:43:03Z) - MiniOneRec: An Open-Source Framework for Scaling Generative Recommendation [44.05859062614669]
MiniOneRecは、最初の完全なオープンソースジェネレーティブレコメンデーションフレームワークである。
SID構築にまたがるエンドツーエンドワークフロー、教師付き微調整、レコメンデーション指向の強化学習を提供する。
実験の結果,モデルサイズの増加に伴い,トレーニングと評価の両方の損失が一貫した下降傾向を示した。
論文 参考訳（メタデータ） (2025-10-28T13:58:36Z) - Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。
SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
論文 参考訳（メタデータ） (2025-09-20T17:09:14Z) - LARES: Latent Reasoning for Sequential Recommendation [96.26996622771593]
本稿では、シークエンシャルレコメンデーションのための新しいスケーラブルなLatent ReasoningフレームワークであるLARESを紹介する。
提案手法では,パラメータの複雑性を増大させることなく推理深度を柔軟に拡張できる再帰的アーキテクチャを用いている。
我々のフレームワークは既存の高度なモデルとのシームレスな互換性を示し、推奨性能をさらに向上させる。
論文 参考訳（メタデータ） (2025-05-22T16:22:54Z) - Reinforced Model Merging [53.84354455400038]
本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。
評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
論文 参考訳（メタデータ） (2025-03-27T08:52:41Z) - S2A: A Unified Framework for Parameter and Memory Efficient Transfer Learning [8.602744958104969]
本研究では,微調整時の活性化のメモリフットプリントを低減するため,新しいPETLフレームワークであるStructure to Activation (S2A)を提案する。
具体的には,1)パラメトリックモデル構造におけるアクティベーションモジュールの設計(バイアス,プロンプト,サイドモジュール)からなり,パラメータやアクティベーションメモリの大幅な削減を実現している。
提案手法は既存のPETL技術よりも優れており,GPUメモリフットプリントの4倍の削減を実現しているだけでなく,可変パラメータの少ない精度で競合性能を示す。
論文 参考訳（メタデータ） (2025-03-11T08:10:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。