論文の概要: Compress, Cross and Scale: Multi-Level Compression Cross Networks for Efficient Scaling in Recommender Systems
- arxiv url: http://arxiv.org/abs/2602.12041v1
- Date: Thu, 12 Feb 2026 15:06:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-13 21:07:25.882282
- Title: Compress, Cross and Scale: Multi-Level Compression Cross Networks for Efficient Scaling in Recommender Systems
- Title（参考訳）: 圧縮・クロス・スケール:レコメンダシステムにおける効率的なスケーリングのためのマルチレベル圧縮クロスネットワーク
- Authors: Heng Yu, Xiangjun Zhou, Jie Xia, Heng Zhao, Anxin Wu, Yu Zhao, Dongying Kong,
- Abstract要約: MLCCは階層的な圧縮と動的合成によって機能横断を組織する構造化された機能相互作用アーキテクチャである。
MC-MLCCはマルチチャネル拡張であり、並列部分空間に特徴的相互作用を分解する。
提案モデルでは,高いDLRMスタイルのベースラインを最大0.52AUCで上回り,モデルパラメータとFLOPを最大26$times$で削減した。
- 参考スコア（独自算出の注目度）: 5.897678894426804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modeling high-order feature interactions efficiently is a central challenge in click-through rate and conversion rate prediction. Modern industrial recommender systems are predominantly built upon deep learning recommendation models, where the interaction backbone plays a critical role in determining both predictive performance and system efficiency. However, existing interaction modules often struggle to simultaneously achieve strong interaction capacity, high computational efficiency, and good scalability, resulting in limited ROI when models are scaled under strict production constraints. In this work, we propose MLCC, a structured feature interaction architecture that organizes feature crosses through hierarchical compression and dynamic composition, which can efficiently capture high-order feature dependencies while maintaining favorable computational complexity. We further introduce MC-MLCC, a Multi-Channel extension that decomposes feature interactions into parallel subspaces, enabling efficient horizontal scaling with improved representation capacity and significantly reduced parameter growth. Extensive experiments on three public benchmarks and a large-scale industrial dataset show that our proposed models consistently outperform strong DLRM-style baselines by up to 0.52 AUC, while reducing model parameters and FLOPs by up to 26$\times$ under comparable performance. Comprehensive scaling analyses demonstrate stable and predictable scaling behavior across embedding dimension, head number, and channel count, with channel-based scaling achieving substantially better efficiency than conventional embedding inflation. Finally, online A/B testing on a real-world advertising platform validates the practical effectiveness of our approach, which has been widely adopted in Bilibili advertising system under strict latency and resource constraints.
- Abstract（参考訳）: 高次機能相互作用を効率的にモデル化することは、クリックスルー率と変換率予測における中心的な課題である。
現代の産業レコメンデータシステムは、主にディープラーニングレコメンデーションモデルに基づいて構築されており、そこでは相互作用のバックボーンが予測性能とシステム効率の両方を決定する重要な役割を担っている。
しかし、既存の相互作用モジュールは、強い相互作用能力、高い計算効率、優れたスケーラビリティを同時に達成するのに苦労することが多く、結果としてモデルが厳密な生産制約の下でスケールする場合はROIに制限される。
本研究では,階層的圧縮と動的合成によって機能交差を整理する構造的機能相互作用アーキテクチャMLCCを提案する。
さらに,マルチチャネル拡張であるMC-MLCCを導入し,特徴の相互作用を並列部分空間に分解し,表現能力の向上とパラメータ成長の大幅な削減を実現した。
3つの公開ベンチマークと大規模産業データセットによる大規模な実験により、提案したモデルは、高いDLRMスタイルのベースラインを最大0.52AUCで一貫して上回り、モデルパラメータとFLOPを最大26$\times$で削減した。
包括的スケーリング分析は, 埋込次元, ヘッド数, チャネル数にまたがる安定かつ予測可能なスケーリング挙動を示し, チャネルベースのスケーリングは, 従来の埋込インフレーションよりもはるかに優れた効率を実現している。
最後に、実世界の広告プラットフォーム上でのオンラインA/Bテストは、厳密なレイテンシとリソース制約の下で、ビリビリ広告システムで広く採用されている我々のアプローチの有効性を検証する。
関連論文リスト
- EST: Towards Efficient Scaling Laws in Click-Through Rate Prediction via Unified Modeling [13.693397814262681]
近年,産業用クリックスルーレート(CTR)予測の効率化が注目されている。
そこで本研究では,すべての生入力を単一シーケンスで処理して完全に統一されたモデリングを実現する,効率よくスケーラブルな変換器 (EST) を提案する。
ESTは生産ベースラインを大幅に上回り、3.27%のRPM(Revenue Per Mile)と1.22%のCTRリフトを提供する。
論文 参考訳（メタデータ） (2026-02-11T12:51:54Z) - Explicit Multi-head Attention for Inter-head Interaction in Large Language Models [70.96854312026319]
マルチヘッド明示的注意(Multi-head Explicit Attention、MEA)は、頭間相互作用を明示的にモデル化した、単純で効果的な注意法である。
MEAは事前トレーニングにおいて強い堅牢性を示し、より高速な収束につながる学習率を使用することを可能にします。
これにより、KVキャッシュメモリ使用率を50%削減できる実用的なキー値キャッシュ圧縮戦略が実現される。
論文 参考訳（メタデータ） (2026-01-27T13:45:03Z) - HyFormer: Revisiting the Roles of Sequence Modeling and Feature Interaction in CTR Prediction [8.97787361529607]
本稿では,HyFormerについて述べる。HyFormerは1つのバックボーンに長周期モデリングと特徴相互作用を密に統合するハイブリッドトランスフォーマーアーキテクチャである。
数十億の産業データセットに関する実験は、HyFormerが強いLONGERとRanMixerのベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-01-19T02:55:05Z) - STORE: Semantic Tokenization, Orthogonal Rotation and Efficient Attention for Scaling Up Ranking Models [11.965535230928372]
Storeは,3つのコアイノベーションに基づいて構築された,統一的でスケーラブルなトークンベースのランキングフレームワークである。
我々のフレームワークは、予測精度(オンラインCTR 2.71%、AUC 1.195%)とトレーニング効率(1.84スループット)を継続的に改善します。
論文 参考訳（メタデータ） (2025-11-24T06:20:02Z) - Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression [53.39128997308138]
テキスト圧縮性能に基づくモデル効率の指標である情報容量を導入する。
主流のオープンソースモデルに対する実証的な評価は、シリーズ内のさまざまなサイズのモデルが一貫した情報容量を示すことを示している。
情報容量の特徴的な特徴は、入力と出力の両方のトークン数に影響を与えるトークン化効率が組み込まれていることである。
論文 参考訳（メタデータ） (2025-11-11T10:07:32Z) - Structural Similarity-Inspired Unfolding for Lightweight Image Super-Resolution [88.20464308588889]
効率的な画像SRのための構造類似インスパイアド・アンフォールディング(SSIU)法を提案する。
この方法は、構造的類似性に制約されたSR最適化関数の展開によって設計される。
我々のモデルは現在の最先端モデルより優れており、パラメータ数が低く、メモリ消費が減少している。
論文 参考訳（メタデータ） (2025-06-13T14:29:40Z) - High-Fidelity Scientific Simulation Surrogates via Adaptive Implicit Neural Representations [51.90920900332569]
入射神経表現(INR)は空間的に構造化されたデータをモデリングするためのコンパクトで連続的なフレームワークを提供する。
近年のアプローチでは、剛性幾何学的構造に沿った付加的な特徴を導入することでこの問題に対処している。
機能適応型INR(FA-INR)を提案する。
論文 参考訳（メタデータ） (2025-06-07T16:45:17Z) - VRS-UIE: Value-Driven Reordering Scanning for Underwater Image Enhancement [104.78586859995333]
状態空間モデル(SSM)は、線形複雑性と大域的受容場のために、視覚タスクの有望なバックボーンとして登場した。
大型で均質だが無意味な海洋背景の優位性は、希少で価値ある標的の特徴表現応答を希薄にすることができる。
水中画像強調(UIE)のための新しい値駆動リダクションスキャンフレームワークを提案する。
本フレームワークは, 水バイアスを効果的に抑制し, 構造や色彩の忠実さを保ち, 優れた向上性能(WMambaを平均0.89dB超える)を実現する。
論文 参考訳（メタデータ） (2025-05-02T12:21:44Z) - Climber: Toward Efficient Scaling Laws for Large Recommendation Models [8.970144942471425]
Climberは2つの相乗的コンポーネントからなる効率的なレコメンデーションフレームワークである。
提案モデルでは,(1)一定因子による時間的複雑性の低減を実現し,シーケンス長によるより効率的なスケーリングを実現するマルチスケールシーケンス抽出,(2)マルチシナリオパターンとマルチビヘイビアパターンに注意分布を適応させる動的温度変調,の2つのコアイノベーションを採用している。
Climberは、中国最大の音楽ストリーミングプラットフォームであるNetease Cloud Musicに、毎日数千万人のユーザーにサービスを提供している。
論文 参考訳（メタデータ） (2025-02-14T03:25:09Z) - Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation [60.80423207808076]
高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。
マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。
HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
論文 参考訳（メタデータ） (2024-10-04T06:19:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。