論文の概要: Expand More, Shrink Less: Shaping Effective-Rank Dynamics for Dense Scaling in Recommendation

• arxiv url: http://arxiv.org/abs/2605.23191v1
• Date: Fri, 22 May 2026 03:17:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.180978
• Title: Expand More, Shrink Less: Shaping Effective-Rank Dynamics for Dense Scaling in Recommendation
• Title（参考訳）: 勧告におけるディエンススケーリングのための効果的なリンクダイナミクスの創成
• Authors: Guoming Li, Shangyu Zhang, Junwei Pan, Wentao Ning, Jin Chen, Gengsheng Xue, Chao Zhou, Shudong Huang, Haijie Gu, Menglin Yang,
• Abstract要約: レコメンデーションモデルのスケーリングは、レコメンデーションシステムにおいて重要な課題である。 RankMixerはテキストの埋没に悩まされており、学習された表現は有効なランクが低い。 提案するRangeElastorは,畳み込みを低減したスペクトルロスト表現を創出する新しいアーキテクチャである。
• 参考スコア（独自算出の注目度）: 21.08394922908602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling recommendation models is a central challenge in recommender systems. Recently, RankMixer has emerged as an effective solution, operating on a unified token representation and alternating between token mixing and per-token feedforward networks (P-FFNs) to achieve scalable performance. However, RankMixer suffers from \textit{embedding collapse}, where learned representations have low effective rank, limiting expressivity and underutilizing the expanded representation space. Through empirical analysis and theoretical insights, we identify rigid token mixing and P-FFN modules as the primary causes of this phenomenon, jointly inducing a \textbf{damped oscillatory trajectory} in effective-rank evolution across layers. To address it, we propose RankElastor, a novel architecture that produces spectrum-robust representations with provable collapse mitigation. RankElastor introduces two components: (i) \textbf{parameterized full mixing}, which enables expressive token mixing with improved spectral robustness; and (ii) \textbf{GLU-improved P-FFNs}, which stabilize representation spectra through GLU-style FFN modules. Extensive experiments on large-scale industrial datasets demonstrate that RankElastor consistently improves recommendation performance, mitigates embedding collapse, and exhibits robust scaling behavior. Code is available at this GitHub repository: https://github.com/vasile-paskardlgm/RankElastor
• Abstract（参考訳）: レコメンデーションモデルのスケーリングは、レコメンデーションシステムにおいて重要な課題である。 近年、RangeMixerは、トークンの統一表現とトークンの混合とP-FFN(P-FFN)間の交互化によって、スケーラブルなパフォーマンスを実現するための効果的なソリューションとして登場している。 しかし RankMixer は textit{embedding collapse} に苦しめられ、学習された表現は、有効ランクが低く、表現性を制限し、拡張された表現空間を不活用する。 経験的分析と理論的知見により、この現象の主原因は固いトークンの混合とP-FFNの加群を同定し、層をまたいだ効果的なランクの進化において、共同で \textbf{damped oscillatory trajectory} を誘導する。 そこで本研究では,折り畳み補正が可能なスペクトルロスト表現を創出する新しいアーキテクチャである RankElastor を提案する。 RankElastorは2つのコンポーネントを導入している。 (i)スペクトル堅牢性を改善した表現的トークン混合を可能にするtextbf{parameterized full mix} (ii) \textbf{GLU-improved P-FFNs} はGLUスタイルのFFNモジュールを通して表現スペクトルを安定化させる。 大規模産業データセットに関する大規模な実験は、RangeElastorが常にレコメンデーションパフォーマンスを改善し、埋め込み崩壊を緩和し、堅牢なスケーリング動作を示すことを示した。 コードは、このGitHubリポジトリで入手できる。

関連論文リスト

• RankUp: Towards High-rank Representations for Large Scale Advertising Recommender Systems [21.830994984868212]
  表現の崩壊を緩和し,表現能力を向上させるアーキテクチャである textbfRankUp を提案する。 RankUp は Weixin Video Accounts と Official Accounts と Moments にまたがって大規模生産に完全デプロイされており、それぞれ 3.41%、 4.81%、 2.21% の GMV が改良されている。
  論文  参考訳（メタデータ） (2026-04-20T06:40:27Z)
• UniMixer: A Unified Architecture for Scaling Laws in Recommendation Systems [22.268247447161134]
  我々は、スケーリング効率を向上させるために、リコメンデーションシステムである textbfUniMixer の統一スケーリングアーキテクチャを提案する。 我々は、注意に基づく、TokenMixerベースの、ファクトリゼーションに基づくメソッド間の接続をブリッジする、レコメンダシステムのための統一スケーリングモジュール設計フレームワークを構築した。
  論文  参考訳（メタデータ） (2026-04-01T07:57:40Z)
• ConsistentRFT: Reducing Visual Hallucinations in Flow-based Reinforcement Fine-Tuning [85.20505958752928]
  フローベースモデル上での強化ファインチューニング(RFT)は、優先順位調整に不可欠である。 RFTは、過度に最適化された詳細や意味的なミスアライメントのような視覚幻覚をしばしば導入する。 この研究は、なぜ視覚幻覚が生じるのか、どのようにそれらを減らすのかを予備的に探求する。
  論文  参考訳（メタデータ） (2026-02-03T11:49:46Z)
• DynaPURLS: Dynamic Refinement of Part-aware Representations for Skeleton-based Zero-Shot Action Recognition [51.80782323686666]
  textbfDynaPURLSは、堅牢でマルチスケールなビジュアル・セマンティック対応を確立する統一的なフレームワークである。 我々のフレームワークは、グローバルな動きと局所的な身体部分のダイナミクスの両方を含む階層的なテキスト記述を生成するために、大きな言語モデルを活用する。 NTU RGB+D 60/120とPKU-MMDを含む3つの大規模ベンチマークデータセットの実験は、DynaPURLSが先行技術よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2025-12-12T10:39:10Z)
• HiLoMix: Robust High- and Low-Frequency Graph Learning Framework for Mixing Address Association [4.848214568017272]
  混合サービスは、不正取引のために悪意あるアクターによってますます悪用されている。 アドレスアソシエーションの混合に特化して設計されたグラフベースの学習フレームワークであるHiLoMixを提案する。 実験により、HiLoMixはアドレス関連を混合する既存の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-11-11T02:19:00Z)
• Rectified Diffusion Guidance for Conditional Generation [94.83538269086613]
  CFGの背後にある理論を再検討し、不適切な組合せ係数(textiti.e.)が生成分布を期待的にシフトさせることを厳密に確認する。 提案手法は, 強みを考慮すれば, textbftextitform ソリューションが有効であることを示す。 実世界のデータに関する実証的な証拠は、我々の設計と既存の最先端拡散モデルとの整合性を実証している。
  論文  参考訳（メタデータ） (2024-10-24T13:41:32Z)
• Chasing Fairness in Graphs: A GNN Architecture Perspective [73.43111851492593]
  グラフニューラルネットワーク(GNN)の統一最適化フレームワーク内で設計されたtextsfFair textsfMessage textsfPassing(FMP)を提案する。 FMPでは、アグリゲーションがまず隣人の情報を活用するために採用され、バイアス軽減ステップにより、人口集団ノードのプレゼンテーションセンタが明示的に統合される。 ノード分類タスクの実験により、提案されたFMPは、実世界の3つのデータセットの公平性と正確性の観点から、いくつかのベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-19T18:00:15Z)
• Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers [55.90468016961356]
  本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。 AFNOは、演算子学習の原則的基礎に基づいている。 65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
  論文  参考訳（メタデータ） (2021-11-24T05:44:31Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。