論文の概要: RankUp: Towards High-rank Representations for Large Scale Advertising Recommender Systems
- arxiv url: http://arxiv.org/abs/2604.17878v2
- Date: Tue, 21 Apr 2026 03:44:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-22 14:04:47.935033
- Title: RankUp: Towards High-rank Representations for Large Scale Advertising Recommender Systems
- Title（参考訳）: RankUp: 大規模広告レコメンダシステムのための高階表現を目指して
- Authors: Jin Chen, Shangyu Zhang, Bin Hu, Chao Zhou, Junwei Pan, Gengsheng Xue, Wentao Ning, Gengyu Weng, Wang Zheng, Shaohua Liu, Zeen Xu, Chengyuan Mai, Shijie Quan, Tingyu Jiang, Lifeng Wang, Shudong Huang, Chengguo Yin, Haijie Gu, Jie Jiang,
- Abstract要約: 表現の崩壊を緩和し,表現能力を向上させるアーキテクチャである textbfRankUp を提案する。
RankUp は Weixin Video Accounts と Official Accounts と Moments にまたがって大規模生産に完全デプロイされており、それぞれ 3.41%、 4.81%、 2.21% の GMV が改良されている。
- 参考スコア（独自算出の注目度）: 21.830994984868212
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The scaling laws for recommender systems have been increasingly validated, where MetaFormer-based architectures consistently benefit from increased model depth, hidden dimensionality, and user behavior sequence length. However, whether representation capacity scales proportionally with parameter growth remains largely unexplored. Prior studies on RankMixer reveal that the effective rank of token representations exhibits a damped oscillatory trajectory across layers, failing to increase consistently with depth and even degrading in deeper layers. Motivated by this observation, we propose \textbf{RankUp}, an architecture designed to mitigate representation collapse and enhance expressive capacity through randomized permutation splitting over sparse features, a multi-embedding paradigm, global token integration, crossed pretrained embedding tokens and task-specific token decoupling. RankUp has been fully deployed in large-scale production across Weixin Video Accounts, Official Accounts and Moments, yielding GMV improvements of 3.41\%, 4.81\% and 2.21\%, respectively.
- Abstract（参考訳）: 推奨システムのスケーリング法則はますます検証され、MetaFormerベースのアーキテクチャは、モデル深さ、隠された次元、ユーザー行動シーケンス長の増大から一貫して恩恵を受けている。
しかし、表現能力がパラメータ成長に比例するかどうかについては、まだ明らかになっていない。
RankMixerの以前の研究によると、トークン表現の効果的なランクは、層間で減衰した振動軌道を示し、深さとともに一貫して増加せず、さらに深い層でも劣化する。
この観測から得られたアーキテクチャである「textbf{RankUp}」を提案する。これは表現の崩壊を緩和し、スパース機能に対するランダムな置換分割、マルチエンベディングパラダイム、グローバルトークン統合、クロストレーニング済み埋め込みトークン、タスク固有のトークン分離によって表現能力を向上させるアーキテクチャである。
RankUp は Weixin Video Accounts と Official Accounts と Moments にまたがって大規模生産に完全デプロイされ、それぞれ 3.41 %、 4.81 %、 2.21 % の GMV の改善が得られた。
関連論文リスト
- TokenFormer: Unify the Multi-Field and Sequential Recommendation Worlds [17.505701673051405]
TokenFormerは、以下のイノベーションを取り入れた統合されたレコメンデーションアーキテクチャである。
まず,ボトムフルト・トップ・スライディング(BFTS:Bottom-Full-Top-Sliding)アテンションスキームを導入する。
第2に,非線形相互作用表現(NLIR)を導入し,一方の非線形乗算変換を隠れ状態に適用する。
論文 参考訳（メタデータ） (2026-04-15T11:25:46Z) - Attention Residuals [38.59138244826294]
PreNorm との残余接続は現代の LLM では標準的なものであるが、固定単位重み付きで全ての層出力を蓄積する。
本稿では,アテンション残余(AttnRes)を提案する。
論文 参考訳（メタデータ） (2026-03-16T09:32:21Z) - StepVAR: Structure-Texture Guided Pruning for Visual Autoregressive Models [98.72926158261937]
本稿では,Visual AutoRegressive モデルのためのトレーニングフリートークン解析フレームワークを提案する。
我々は局所的なテクスチャの詳細を捉えるために軽量なハイパスフィルタを使用し、グローバルな構造情報を保存するために主成分分析(PCA)を活用している。
スパーストークンの下で有効な次世代の予測を維持するために,近接した特徴伝達戦略を導入する。
論文 参考訳（メタデータ） (2026-03-02T11:35:05Z) - Beyond the Flat Sequence: Hierarchical and Preference-Aware Generative Recommendations [35.58864660038236]
我々はHPGR(Hierarchical and Preference-aware Generative Recommender)という新しいフレームワークを提案する。
まず、構造化を意識した事前学習段階において、セッションベースのMasked Item Modelingの目的を用いて、階層的にインフォームドされ、セマンティックにリッチなアイテム表現空間を学ぶ。
第二に、プライオリティ対応の微調整ステージは、これらの強力な表現を活用して、Preference-Guided Sparse Attentionメカニズムを実装する。
論文 参考訳（メタデータ） (2026-03-01T08:15:34Z) - Granular-ball Guided Masking: Structure-aware Data Augmentation [97.18560547134587]
Granular-ball Guided Masking (GBGM) は、Granular-ball Computing (GBC) によって誘導される構造対応強化戦略である。
GBGMは、粗い階層的なマスキングプロセスを通じて冗長な領域を抑えながら、意味的に豊富で構造上重要な領域を適応的に保存する。
複数のベンチマークの実験では、分類精度とマスク画像再構成が一貫した改善が示されている。
論文 参考訳（メタデータ） (2025-12-24T07:15:33Z) - MeshMosaic: Scaling Artist Mesh Generation via Local-to-Global Assembly [62.48017648785026]
MeshMosaicは,100K以上の三角形にスケールするアーティストメッシュ生成のための,新たなローカル・グローバルなフレームワークである。
MeshMosaicは,幾何学的忠実度とユーザの好みの両方において,最先端の手法を著しく上回ることを示す。
論文 参考訳（メタデータ） (2025-09-24T11:02:03Z) - Contrastive Matrix Completion with Denoising and Augmented Graph Views for Robust Recommendation [1.0128808054306186]
マトリックス補完は推薦システムにおいて広く採用されているフレームワークである。
コントラスト学習(MCCL)を用いた行列補完法を提案する。
提案手法は,予測スコアの数値精度を向上するだけでなく,ランキング指標の最大36%を向上する上で,優れたランキングを生成する。
論文 参考訳（メタデータ） (2025-06-12T12:47:35Z) - You Do Not Fully Utilize Transformer's Representation Capacity [4.753535328327317]
LIMe(Layer-Integrated Memory)は、階層単位のルーティング重み付けを学習し、以前のすべてのレイヤからの表現を無視可能なオーバーヘッドで統合する軽量な拡張である。
LIMeは一貫して高速収束、FLOPあたりのパープレキシティの低下、および合成タスクの大幅な精度向上を実現している。
論文 参考訳（メタデータ） (2025-02-13T12:00:50Z) - Augmenting Convolutional networks with attention-based aggregation [55.97184767391253]
我々は,非局所的推論を実現するために,注目に基づくグローバルマップを用いた畳み込みネットワークの強化方法を示す。
この学習集約層を2つのパラメータ(幅と深さ)でパラメータ化した単純パッチベースの畳み込みネットワークで接続する。
これは、特にメモリ消費の点で、精度と複雑さの間の驚くほど競争力のあるトレードオフをもたらす。
論文 参考訳（メタデータ） (2021-12-27T14:05:41Z) - Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。
Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。
大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
論文 参考訳（メタデータ） (2020-06-15T22:22:56Z) - Crowd Counting via Hierarchical Scale Recalibration Network [61.09833400167511]
本稿では,群集カウントの課題に取り組むために,階層型大規模校正ネットワーク(HSRNet)を提案する。
HSRNetは、リッチなコンテキスト依存をモデル化し、複数のスケール関連情報を再検討する。
提案手法は,様々なノイズを選択的に無視し,適切な群集スケールに自動的に焦点を合わせることができる。
論文 参考訳（メタデータ） (2020-03-07T10:06:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。