論文の概要: Beyond Dense Connectivity: Explicit Sparsity for Scalable Recommendation

• arxiv url: http://arxiv.org/abs/2604.08011v1
• Date: Thu, 09 Apr 2026 09:13:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.832852
• Title: Beyond Dense Connectivity: Explicit Sparsity for Scalable Recommendation
• Title（参考訳）: ディエンス接続性を超えて - スケーラブルなレコメンデーションのための空間を明示する
• Authors: Yantao Yu, Sen Qiao, Lei Shen, Bing Wang, Xiaoyi Zeng,
• Abstract要約: 大規模モデルのスケーリングの最近の進歩は、モデル深度とキャパシティを向上し、大規模な行動データを活用するためのレコメンデーションシステムに動機付けている。 産業モデルの解析では、暗黙的な接続間隔の現象が示され、ほとんどの学習された接続重みはゼロになる傾向にあるが、わずかな部分しか顕著に残っていない。 bfSSR(ExplicittextbfSparsity for textbfScalable textbfRecommendation)を提案する。
• 参考スコア（独自算出の注目度）: 10.599218546511008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent progress in scaling large models has motivated recommender systems to increase model depth and capacity to better leverage massive behavioral data. However, recommendation inputs are high-dimensional and extremely sparse, and simply scaling dense backbones (e.g., deep MLPs) often yields diminishing returns or even performance degradation. Our analysis of industrial CTR models reveals a phenomenon of implicit connection sparsity: most learned connection weights tend towards zero, while only a small fraction remain prominent. This indicates a structural mismatch between dense connectivity and sparse recommendation data; by compelling the model to process vast low-utility connections instead of valid signals, the dense architecture itself becomes the primary bottleneck to effective pattern modeling. We propose \textbf{SSR} (Explicit \textbf{S}parsity for \textbf{S}calable \textbf{R}ecommendation), a framework that incorporates sparsity explicitly into the architecture. SSR employs a multi-view "filter-then-fuse" mechanism, decomposing inputs into parallel views for dimension-level sparse filtering followed by dense fusion. Specifically, we realize the sparsity via two strategies: a Static Random Filter that achieves efficient structural sparsity via fixed dimension subsets, and Iterative Competitive Sparse (ICS), a differentiable dynamic mechanism that employs bio-inspired competition to adaptively retain high-response dimensions. Experiments on three public datasets and a billion-scale industrial dataset from AliExpress (a global e-commerce platform) show that SSR outperforms state-of-the-art baselines under similar budgets. Crucially, SSR exhibits superior scalability, delivering continuous performance gains where dense models saturate.
• Abstract（参考訳）: 大規模モデルのスケーリングの最近の進歩は、モデル深度とキャパシティを向上し、大規模な行動データを活用するためのレコメンデーションシステムに動機付けている。 しかし、レコメンデーションインプットは高次元かつ極めてスパースであり、単に高密度のバックボーン(例えば深層MLP)をスケーリングするだけで、リターンが低下したり、パフォーマンスが低下することもある。 産業用CTRモデルの解析では、暗黙の接続間隔の現象が示され、ほとんどの学習された接続重みはゼロになる傾向にあるが、わずかしか顕著に残っていない。 これは、高密度接続とスパースレコメンデーションデータの間の構造的ミスマッチを示し、有効な信号の代わりに巨大な低ユーティリティ接続を処理するようにモデルを説得することで、高密度アーキテクチャ自体が効果的なパターンモデリングの主要なボトルネックとなる。 アーキテクチャに空間性を明示的に組み込んだフレームワークである \textbf{S}calable \textbf{R}ecommendation (Explicit \textbf{S}parsity for \textbf{S}calable \textbf{R}ecommendation) を提案する。 SSRはマルチビューの「フィルタ・then-fuse」機構を採用し、インプットを並列ビューに分解して次元レベルのスパースフィルタリングを行い、次いで高密度融合を行う。 具体的には, 固定次元部分集合による効率的な構造空間の分散を実現する静的ランダムフィルタと, 高応答次元を適応的に保持するために, バイオインスパイアされた競合を利用する, 微分可能な動的機構である反復競合スパース(ICS)の2つの戦略により, 空間空間の分散を実現する。 3つの公開データセットとAliExpress(グローバルeコマースプラットフォーム)による10億ドル規模の産業データセットの実験は、SSRが同様の予算の下で最先端のベースラインを上回っていることを示している。 重要な点として、SSRは優れたスケーラビリティを示し、高密度モデルが飽和する連続的なパフォーマンス向上を提供する。

関連論文リスト

• StepVAR: Structure-Texture Guided Pruning for Visual Autoregressive Models [98.72926158261937]
  本稿では,Visual AutoRegressive モデルのためのトレーニングフリートークン解析フレームワークを提案する。 我々は局所的なテクスチャの詳細を捉えるために軽量なハイパスフィルタを使用し、グローバルな構造情報を保存するために主成分分析(PCA)を活用している。 スパーストークンの下で有効な次世代の予測を維持するために,近接した特徴伝達戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-02T11:35:05Z)
• Scaling Text-to-Image Diffusion Transformers with Representation Autoencoders [74.72147962028265]
  表現オートエンコーダ(RAE)は、ImageNet上で拡散モデリングにおいて明確な利点を示している。 本稿では,このフレームワークが大規模でフリーフォームなテキスト・ツー・イメージ(T2I)生成に拡張できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-01-22T18:58:16Z)
• Consistency-Regularized GAN for Few-Shot SAR Target Recognition [40.2533418376231]
  合成開口レーダ(SAR)画像におけるわずかなショット認識は、極端なデータ不足のため、現実世界のアプリケーションにとって重要なボトルネックとなっている。 有望な戦略としては、GAN(Generative Adversarial Network)を備えた大規模なデータセット、自己教師付き学習(SSL)によるモデルの事前トレーニング、ラベル付きサンプルの微調整などがある。 このアプローチは基本的なパラドックスに直面する: 従来のGAN自身は、安定したトレーニングのために豊富なデータを必要とし、少数ショット学習の前提に反する。 多様な高次合成を目的とした新しいフレームワークCr-GANを提案する。
  論文  参考訳（メタデータ） (2026-01-22T06:02:39Z)
• Why not Collaborative Filtering in Dual View? Bridging Sparse and Dense Models [17.01882282913444]
  協調フィルタリングは現代のレコメンデーターシステムの基盤となっている。 密埋め込みのセマンティック表現性とスパース相互作用パターンの構造的信頼性を統合した統合フレームワークSaD(Sparse and Dense)を提案する。 これら2つの視点を整合させることで、より優れたグローバルSNRが得られることを示す。
  論文  参考訳（メタデータ） (2026-01-14T08:47:07Z)
• Latent Geometry of Taste: Scalable Low-Rank Matrix Factorization for Recommender Systems [0.0]
  本研究は、MovieLens 32Mデータセットを用いて、ユーザの嗜好の潜時幾何学について検討する。 制約付き低ランクモデルはランク精度において高次元モデルよりも有意に優れていることを示す。 我々は,人気バイアスとパーソナライズされた親和性とのトレードオフを効果的に管理するための調整可能なスコアリングパラメータを導入し,コールドスタートシナリオにおけるシステムの実用性を検証する。
  論文  参考訳（メタデータ） (2026-01-06T23:42:40Z)
• SCoRE: Streamlined Corpus-based Relation Extraction using Multi-Label Contrastive Learning and Bayesian kNN [0.2812395851874055]
  本稿では,モジュール型かつ費用対効果の高い文レベルの関係抽出システムであるSCoREを紹介する。 SCoREは簡単なPLMスイッチングを可能にし、微調整を必要とせず、多様なコーパスやKGにスムーズに適応する。 SCoREは, エネルギー消費を大幅に削減しつつ, 最先端の手法に適合するか, 超越しているかを示す。
  論文  参考訳（メタデータ） (2025-07-09T14:33:07Z)
• High-Fidelity Scientific Simulation Surrogates via Adaptive Implicit Neural Representations [51.90920900332569]
  入射神経表現(INR)は空間的に構造化されたデータをモデリングするためのコンパクトで連続的なフレームワークを提供する。 近年のアプローチでは、剛性幾何学的構造に沿った付加的な特徴を導入することでこの問題に対処している。 機能適応型INR(FA-INR)を提案する。
  論文  参考訳（メタデータ） (2025-06-07T16:45:17Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• A Generic Network Compression Framework for Sequential Recommender Systems [71.81962915192022]
  シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。 CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。 大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
  論文  参考訳（メタデータ） (2020-04-21T08:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。