論文の概要: STORE: Semantic Tokenization, Orthogonal Rotation and Efficient Attention for Scaling Up Ranking Models

• arxiv url: http://arxiv.org/abs/2511.18805v1
• Date: Mon, 24 Nov 2025 06:20:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.048535
• Title: STORE: Semantic Tokenization, Orthogonal Rotation and Efficient Attention for Scaling Up Ranking Models
• Title（参考訳）: STORE:Semantic Tokenization, Orthogonal Rotation and Efficient Attention for Scaling Up Ranking Models
• Authors: Yi Xu, Chaofan Fan, Jinxin Hu, Yu Zhang, Zeng Xiaoyi, Jing Zhang,
• Abstract要約: Storeは,3つのコアイノベーションに基づいて構築された,統一的でスケーラブルなトークンベースのランキングフレームワークである。 我々のフレームワークは、予測精度(オンラインCTR 2.71%、AUC 1.195%)とトレーニング効率(1.84スループット)を継続的に改善します。
• 参考スコア（独自算出の注目度）: 11.965535230928372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ranking models have become an important part of modern personalized recommendation systems. However, significant challenges persist in handling high-cardinality, heterogeneous, and sparse feature spaces, particularly regarding model scalability and efficiency. We identify two key bottlenecks: (i) Representation Bottleneck: Driven by the high cardinality and dynamic nature of features, model capacity is forced into sparse-activated embedding layers, leading to low-rank representations. This, in turn, triggers phenomena like "One-Epoch" and "Interaction-Collapse," ultimately hindering model scalability.(ii) Computational Bottleneck: Integrating all heterogeneous features into a unified model triggers an explosion in the number of feature tokens, rendering traditional attention mechanisms computationally demanding and susceptible to attention dispersion. To dismantle these barriers, we introduce STORE, a unified and scalable token-based ranking framework built upon three core innovations: (1) Semantic Tokenization fundamentally tackles feature heterogeneity and sparsity by decomposing high-cardinality sparse features into a compact set of stable semantic tokens; and (2) Orthogonal Rotation Transformation is employed to rotate the subspace spanned by low-cardinality static features, which facilitates more efficient and effective feature interactions; and (3) Efficient attention that filters low-contributing tokens to improve computional efficiency while preserving model accuracy. Across extensive offline experiments and online A/B tests, our framework consistently improves prediction accuracy(online CTR by 2.71%, AUC by 1.195%) and training effeciency (1.84 throughput).
• Abstract（参考訳）: ランク付けモデルは、現代のパーソナライズされたレコメンデーションシステムにおいて重要な部分となっている。 しかし、特にモデルのスケーラビリティと効率性に関して、高カルティ性、不均一性、スパースな特徴空間を扱う上で重要な課題が続いている。 私たちは2つの主要なボトルネックを特定します。 i) Representation Bottleneck: 特徴の高濃度と動的性質によって駆動されるモデルキャパシティは、疎活性化された埋め込み層に強制され、低ランクな表現につながります。 これによって"One-Epoch"や"Interaction-Collapse"といった現象が引き起こされ、最終的にはモデルのスケーラビリティが妨げられます。 (ii)計算ボトルネック(Computational Bottleneck):全ての異種機能を統一されたモデルに統合すると、特徴トークンの数が爆発的に増加し、従来の注意機構が計算的に要求され、注意分散に影響を受けやすいものとなる。 これらの障壁を解消するために、STOREは、3つのコアイノベーションに基づいて構築された統一的でスケーラブルなトークンベースのランキングフレームワークである。(1) 意味的トークン化(Semantic Tokenization)は、高次のスパース機能を安定なセマンティックトークンのコンパクトな集合に分解することで、特徴の不均一性と疎結合を根本的に取り組む。(2) 直交回転変換(Orthogonal Rotation Transformation)は、低次の静的な特徴によって分散された部分空間を回転させ、より効率的で効率的な特徴相互作用を促進する。 大規模なオフライン実験とオンラインA/Bテストを通じて、我々のフレームワークは予測精度(オンラインCTRが2.71%、AUCが1.195%)とトレーニング効率(1.84スループット)を継続的に改善します。

関連論文リスト

• ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
  理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。 現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。 本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
  論文  参考訳（メタデータ） (2025-08-19T12:13:41Z)
• Transformers Learn Faster with Semantic Focus [57.97235825738412]
  学習性と一般化の観点からスパース変圧器について検討する。 入力依存のスパースアテンションモデルは、標準アテンションモデルよりも早く収束し、より一般化しているように見える。
  論文  参考訳（メタデータ） (2025-06-17T01:19:28Z)
• High-Fidelity Scientific Simulation Surrogates via Adaptive Implicit Neural Representations [51.90920900332569]
  入射神経表現(INR)は空間的に構造化されたデータをモデリングするためのコンパクトで連続的なフレームワークを提供する。 近年のアプローチでは、剛性幾何学的構造に沿った付加的な特徴を導入することでこの問題に対処している。 機能適応型INR(FA-INR)を提案する。
  論文  参考訳（メタデータ） (2025-06-07T16:45:17Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• Dynamic Attention Mechanism in Spatiotemporal Memory Networks for Object Tracking [8.040709469401257]
  本研究では,空間的注意重みを解析することにより,注意重みを適応的に調節する動的注意機構を提案する。 目標運動状態に基づいて計算資源を自律的に割り当てる軽量ゲーティングネットワークは、挑戦的なシナリオにおいて高い識別可能性の特徴を優先する。
  論文  参考訳（メタデータ） (2025-03-21T00:48:31Z)
• Transformer Meets Twicing: Harnessing Unattended Residual Information [2.1605931466490795]
  トランスフォーマーベースのディープラーニングモデルは、多くの言語やビジョンタスクで最先端のパフォーマンスを達成した。 自己注意機構は複雑なデータパターンを扱えることが証明されているが、注意行列の表現能力はトランスフォーマー層間で著しく低下する。 本研究では,NLM平滑化の低パス動作を軽減するため,非パラメトリック回帰におけるカーネルツイシング手順を用いた新しいアテンション機構であるTwicing Attentionを提案する。
  論文  参考訳（メタデータ） (2025-03-02T01:56:35Z)
• Hyperspectral Images Efficient Spatial and Spectral non-Linear Model with Bidirectional Feature Learning [7.06787067270941]
  本稿では,分類精度を高めつつ,データ量を大幅に削減する新しいフレームワークを提案する。 本モデルでは,空間特徴解析のための特殊ブロックによって補完されるスペクトル特徴を効率よく抽出するために,双方向逆畳み込みニューラルネットワーク(CNN)を用いる。
  論文  参考訳（メタデータ） (2024-11-29T23:32:26Z)
• Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation [51.14107156747967]
  弱教師付きセマンティックセマンティックセマンティクス(WSSS)は、完全な教師付きアプローチよりもアノテーションが少ないため、かなりの注目を集めている。 本研究では,非学際的な過密化に対する深い注意を抑えるための適応的再活性化機構 (AReAM) を提案する。 AReAMは既存のWSSS手法と比較してセグメンテーション性能を大幅に改善し、ノイズを低減し、関連するセマンティック領域に焦点を絞る。
  論文  参考訳（メタデータ） (2023-05-04T19:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。