論文の概要: MixFormer: Co-Scaling Up Dense and Sequence in Industrial Recommenders

• arxiv url: http://arxiv.org/abs/2602.14110v1
• Date: Sun, 15 Feb 2026 11:53:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.658348
• Title: MixFormer: Co-Scaling Up Dense and Sequence in Industrial Recommenders
• Title（参考訳）: MixFormer: インダストリアルレコメンデーションにおけるDenseとSequenceの同時スケーリング
• Authors: Xu Huang, Hao Zhang, Zhifang Fan, Yunwen Huang, Zhuoxing Wei, Zheng Chai, Jinan Ni, Yuchao Zheng, Qiwei Chen,
• Abstract要約: MixFormerは、レコメンデーションシステム用に設計されたTransformerスタイルの統一アーキテクチャである。 単一のバックボーン内でのシーケンシャルな振る舞いと特徴的相互作用を共同でモデル化する。 大規模産業データセットの実験は、MixFormerが常に優れた精度と効率を示すことを示した。
• 参考スコア（独自算出の注目度）: 11.566232697512879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As industrial recommender systems enter a scaling-driven regime, Transformer architectures have become increasingly attractive for scaling models towards larger capacity and longer sequence. However, existing Transformer-based recommendation models remain structurally fragmented, where sequence modeling and feature interaction are implemented as separate modules with independent parameterization. Such designs introduce a fundamental co-scaling challenge, as model capacity must be suboptimally allocated between dense feature interaction and sequence modeling under a limited computational budget. In this work, we propose MixFormer, a unified Transformer-style architecture tailored for recommender systems, which jointly models sequential behaviors and feature interactions within a single backbone. Through a unified parameterization, MixFormer enables effective co-scaling across both dense capacity and sequence length, mitigating the trade-off observed in decoupled designs. Moreover, the integrated architecture facilitates deep interaction between sequential and non-sequential representations, allowing high-order feature semantics to directly inform sequence aggregation and enhancing overall expressiveness. To ensure industrial practicality, we further introduce a user-item decoupling strategy for efficiency optimizations that significantly reduce redundant computation and inference latency. Extensive experiments on large-scale industrial datasets demonstrate that MixFormer consistently exhibits superior accuracy and efficiency. Furthermore, large-scale online A/B tests on two production recommender systems, Douyin and Douyin Lite, show consistent improvements in user engagement metrics, including active days and in-app usage duration.
• Abstract（参考訳）: 産業レコメンデータシステムがスケーリング駆動の体制に入るにつれ、Transformerアーキテクチャは、より大きなキャパシティと長いシーケンスへのスケールモデルにとって、ますます魅力的なものになっている。 しかし、既存のTransformerベースのレコメンデーションモデルは構造的に断片化されており、シーケンスモデリングと機能相互作用は独立したパラメータ化を持つ独立したモジュールとして実装されている。 このような設計は、厳密な特徴相互作用と限られた計算予算下でのシーケンスモデリングの間に、モデルキャパシティを亜最適に割り当てなければならないため、基本的な共スケーリングの課題を導入している。 本研究では,リコメンデータシステムに適したトランスフォーマースタイルの統一アーキテクチャであるMixFormerを提案する。 統一されたパラメータ化によって、MixFormerは、密なキャパシティとシーケンス長の両方にわたって効果的なコスケーリングを可能にし、分離された設計で観測されるトレードオフを緩和する。 さらに、統合アーキテクチャはシーケンシャル表現と非シーケンシャル表現の深い相互作用を促進し、高次特徴セマンティクスがシーケンスアグリゲーションを直接通知し、全体的な表現性を高める。 産業的実用性を確保するため、冗長計算と推論遅延を大幅に低減する効率最適化のためのユーザ-イテムデカップリング戦略を導入する。 大規模産業データセットに関する大規模な実験は、MixFormerが常に優れた精度と効率を示すことを示した。 さらに、DouyinとDouyin Liteという2つのプロダクションレコメンデーションシステムの大規模なオンラインA/Bテストでは、アクティブデイやアプリ内使用時間など、ユーザエンゲージメントの指標が一貫した改善を示している。

関連論文リスト

• Compress, Cross and Scale: Multi-Level Compression Cross Networks for Efficient Scaling in Recommender Systems [5.897678894426804]
  MLCCは階層的な圧縮と動的合成によって機能横断を組織する構造化された機能相互作用アーキテクチャである。 MC-MLCCはマルチチャネル拡張であり、並列部分空間に特徴的相互作用を分解する。 提案モデルでは,高いDLRMスタイルのベースラインを最大0.52AUCで上回り,モデルパラメータとFLOPを最大26$times$で削減した。
  論文  参考訳（メタデータ） (2026-02-12T15:06:46Z)
• HyFormer: Revisiting the Roles of Sequence Modeling and Feature Interaction in CTR Prediction [8.97787361529607]
  本稿では,HyFormerについて述べる。HyFormerは1つのバックボーンに長周期モデリングと特徴相互作用を密に統合するハイブリッドトランスフォーマーアーキテクチャである。 数十億の産業データセットに関する実験は、HyFormerが強いLONGERとRanMixerのベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-01-19T02:55:05Z)
• HoMer: Addressing Heterogeneities by Modeling Sequential and Set-wise Contexts for CTR Prediction [10.779868699316829]
  逐次的および集合的コンテキストをモデル化するためのホモジニアス指向トランスフォーマーであるHoMerを提案する。 HoMerは、AUCメトリックで工業ベースラインを0.0099向上させ、CTR/RPMのようなオンラインビジネスメトリクスを1.99%/2.46%向上させています。
  論文  参考訳（メタデータ） (2025-10-13T07:47:03Z)
• Structural Similarity-Inspired Unfolding for Lightweight Image Super-Resolution [88.20464308588889]
  効率的な画像SRのための構造類似インスパイアド・アンフォールディング(SSIU)法を提案する。 この方法は、構造的類似性に制約されたSR最適化関数の展開によって設計される。 我々のモデルは現在の最先端モデルより優れており、パラメータ数が低く、メモリ消費が減少している。
  論文  参考訳（メタデータ） (2025-06-13T14:29:40Z)
• LARES: Latent Reasoning for Sequential Recommendation [96.26996622771593]
  本稿では、シークエンシャルレコメンデーションのための新しいスケーラブルなLatent ReasoningフレームワークであるLARESを紹介する。 提案手法では,パラメータの複雑性を増大させることなく推理深度を柔軟に拡張できる再帰的アーキテクチャを用いている。 我々のフレームワークは既存の高度なモデルとのシームレスな互換性を示し、推奨性能をさらに向上させる。
  論文  参考訳（メタデータ） (2025-05-22T16:22:54Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。