論文の概要: From Language to Behavior: Scaling Sequence Transformers for Industrial Recommendation Ranking with Rec-Native Designs

• arxiv url: http://arxiv.org/abs/2609.01240v1
• Date: Tue, 01 Sep 2026 13:40:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.688539
• Title: From Language to Behavior: Scaling Sequence Transformers for Industrial Recommendation Ranking with Rec-Native Designs
• Title（参考訳）: 言語から行動へ:Rec-Nativeデザインによる産業推薦ランク付けのための拡張シーケンス変換器
• Authors: Jie Chen, Xiangqian Yu, Yanchao Lian, Tan Lu, Run Yang, Zhengchun Shang, Xing Wang, Cheng Chen, Ke Hu, Qiang Li, Tianjiu Yin, Xiaobing Liu,
• Abstract要約: ReSTはレコメンデーションネイティブなTransformerスケーリングフレームワークである。 信号品質のために、二重ゲートの注意を持つシーケンスエンコーダを導入している。 非対称性では、ランキングを重い再利用可能なエンコーダとデコーダに分解する。
• 参考スコア（独自算出の注目度）: 20.42858135695384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling Transformers has driven large gains in language modeling, but transplanting this to behavior-sequence modeling in production ranking is challenging: recommendation differs in signal quality, where behavior sequences are noisy, temporally irregular, and sparsely supervised, and in computation asymmetry, where each request scores many candidates against one shared user history under tight latency budgets. We propose ReST, a recommendation-native Transformer scaling framework. For signal quality, it introduces a sequence encoder with dual-gated attention, rotary positional and temporal embedding, stabilized residual normalization, and training-only auxiliary objectives. For computation asymmetry, it factorizes ranking into a heavy reusable encoder and a lightweight cross decoder with projection-free KV attention and token-specific parameterization, coupling user-level shared-prefix training with shared-prefix serving for compute-once, decode-many-times ranking. Across industrial and public benchmarks, ReST achieves higher accuracy and scales more consistently along sequence length, depth, and width, where LLM-style Transformer blocks saturate. A one-week online A/B test on a production advertising platform improves online AUC by 1.31% and lifts a core revenue metric by 11.93% within a 50 ms P99 budget; ReST has since been fully deployed in production, showing that behavior-sequence scaling remains a promising, under-exploited axis for production ranking.
• Abstract（参考訳）: トランスフォーマーのスケーリングは、言語モデリングにおいて大きな進歩を遂げてきたが、これをプロダクションランキングに移植することは、信号品質、振る舞いシーケンスがノイズで、時間的に不規則で、疎密に管理されている、計算非対称性、各要求が、タイトなレイテンシ予算の下で、共有ユーザ履歴に対して多くの候補をスコアする、など、難しい。 本稿では,レコメンデーションネイティブなトランスフォーマースケーリングフレームワークであるReSTを提案する。 信号品質には、二重ゲート注意、回転位置と時間埋め込み、安定化された残留正規化、訓練専用の補助目的を含むシーケンスエンコーダを導入する。 計算非対称性では、重再利用可能なエンコーダと、プロジェクションのないKVアテンションとトークン固有のパラメータ化を備えた軽量なクロスデコーダに分類し、計算オンス、デコード、多くの時間ランキングのための共有プリフィックス機能を備えたユーザレベルの共有プリフィックストレーニングを結合する。 産業と公共のベンチマーク全体において、ReSTは高い精度を達成し、LLMスタイルのトランスフォーマーブロックが飽和するシーケンス長、深さ、幅に沿ってより一貫してスケールする。 プロダクション広告プラットフォーム上で1週間のオンラインA/Bテストは、オンラインAUCを1.31%改善し、50ms P99の予算でコア収益指標を11.93%引き上げた。

関連論文リスト

• TransRetrieval: Scaling Up Transformer-Based Retrieval for Industrial Recommendation [19.45139517853295]
  計算予算とクロスドメインデータの両方でスケールするTransformerベースの検索フレームワークであるTransRetrievalを提案する。 40ビリオンの産業データセットでは、ターゲット当たり0.1から2MFLOPのスケーリング計算は+19.3/+22.2pt Recall@2000である。 オンラインA/Bテストでは、TransRetrievalは、プロダクションベースラインと同じエンドツーエンドのレイテンシ制約の下で、プラットフォーム収益を2.53%引き上げる。
  論文  参考訳（メタデータ） (2026-08-26T08:35:16Z)
• TransX: Scaling Transformer-based Recommendation via Behavioral and Serving Stream Crossings [4.750812376477589]
  本稿では,シーケンス・ツー・シーケンスのアクション問題として推奨を再構成する,生産指向のエンコーダ・デコーダアーキテクチャであるTransXを提案する。 低レイテンシで高QPSデプロイメントを実現するため、TransXは、インクリメンタルなビヘイビアエンコーディングとリクエスト毎のキー値キャッシュを組み合わせた、アモータイズされたサービス戦略で設計されている。
  論文  参考訳（メタデータ） (2026-07-31T01:42:57Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• CoRe: A Continuously Reward-Finetuned LLM Query Rewriter for Multi-Stage Context-Aware Relevance in Web-Scale Video Search [16.32525191514382]
  今回紹介するCoReは、毎週5か月以上、大規模なショートビデオ検索エンジンに再デプロイするシステムだ。 我々の報酬は、デプロイされたマルチモーダルレバレンスモデルをソースとし、生産核融合代数を反映する乗法比形式を用いる。 半オンラインMixed Preference Optimizationループは、この報酬を毎週数百万のインスタンススケールで手頃な価格で提供する。
  論文  参考訳（メタデータ） (2026-06-12T05:19:40Z)
• DUET -- Dual User Embedding Transformers for Offsite Conversion Prediction [8.972672149050627]
  計算レコメンデーションシステムにおいて,オフサイト変換率(OCVR)予測は重要なランキング問題である。 このタスクは、クリック信号が豊富で、短い時間的水平線を示すのに対して、変換信号は本質的に疎く、長い遅延があり、しばしば未配布である。 ユーザ行動データを2つのドメインコヒーレントなストリーム – クリックと変換 – に明示的に分割するフレームワークであるDUETを提案する。
  論文  参考訳（メタデータ） (2026-06-08T23:13:58Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• COMET-SG1: Lightweight Autoregressive Regressor for Edge and Embedded AI [0.0]
  COMET-SG1は、エッジおよび組み込みAIシステム上での時系列予測のために設計された安定性指向の自己回帰回帰モデルである。 線形な振る舞い空間符号化、メモリアンコール遷移推定、決定論的状態更新を通じて動作する。
  論文  参考訳（メタデータ） (2026-01-28T16:59:56Z)
• Continual Low-Rank Scaled Dot-product Attention [67.11704350478475]
  我々は,連続的推論に適したNystr"om近似に基づくスケールド・プロダクツ・アテンションの新しい定式化を導入する。 オンライン音声分類およびオンライン行動検出タスクの実験において、提案した連続的スケールド・プロダクト・アテンションは、最大3桁の操作数を削減できる。
  論文  参考訳（メタデータ） (2024-12-04T11:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。