論文の概要: TMallGS: Scaling Unified Feature and Sequence Modeling for Generative E-commerce Search
- arxiv url: http://arxiv.org/abs/2607.13398v1
- Date: Wed, 15 Jul 2026 02:52:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.625583
- Title: TMallGS: Scaling Unified Feature and Sequence Modeling for Generative E-commerce Search
- Title(参考訳): TMallGS: ジェネレーティブEコマース検索のための統一機能とシーケンスモデリングのスケーリング
- Abstract要約: 我々はTmall検索のためのスケーラブルなランキングアーキテクチャであるTmallGSを提案する。
TmallGSは,(1)階層型分布キャリブレーショントークン化,(2)フィールド適応型ゲートトランスフォーマーバックボーン,(3)非結合FiLMレイトフュージョン,(4)コンテキスト対応バイアスネットの5つのキーコンポーネントを含む。
Tmall Searchの大規模なオフライン実験とオンラインA/Bテストにより、TmallGSはトレーニングのスループットを改善し、UCTCVRとGMVで大幅に向上した。
- 参考スコア(独自算出の注目度): 4.061689397024572
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In industrial search and ranking systems, Click-Through Rate (CTR) prediction is shifting from traditional Deep Learning Recommendation Models (DLRM) toward unified, compute-intensive Transformer architectures. This transition is driven by the need to improve Model FLOPs Utilization (MFU) and achieve predictable gains through scaling laws. However, existing approaches such as OneTrans and Climber often adopt an all-in-tokenization strategy when adapting Large Language Model (LLM) architectures, overlooking the heterogeneous nature of ranking features. We propose TmallGS, a scalable ranking architecture for Tmall search. TmallGS includes five key components: (1) Hierarchical Distribution-Calibrated Tokenization, which combines Field-wise Saliency Reweighting (FSR) and Distribution-Calibrated Projection (DCP) to map diverse features into optimized subspaces; (2) a Field-Adaptive Gated Transformer Backbone with per-field QKV projections and noise-adaptive gating for refined semantic interaction; (3) Decoupled FiLM Late Fusion to preserve explicit high-frequency signals; (4) a Context-Aware Bias Net to decouple systemic bias from user intent; and (5) Error-Aware Progressive Training with dynamically weighted losses for robust learning. Extensive offline experiments and online A/B tests on Tmall Search show that TmallGS improves training throughput and achieves substantial gains in UCTCVR and GMV.
- Abstract(参考訳): 産業検索とランキングシステムでは、クリックスルーレート(CTR)予測は従来のディープラーニング勧告モデル(DLRM)から、統一された計算集約型トランスフォーマーアーキテクチャへとシフトしている。
この移行は、MFU(Model FLOPs utilization)を改善し、スケーリング法則を通じて予測可能な利益を達成する必要性によって引き起こされる。
しかし、OneTransやClimberのような既存のアプローチは、Large Language Model (LLM)アーキテクチャを適用する際に、ランク付け機能の異質性を見越して、オールイントークン化戦略を採用することが多い。
我々はTmall検索のためのスケーラブルなランキングアーキテクチャであるTmallGSを提案する。
TmallGSは、(1)フィールドワイド・サリエンシ・リヘアリング(FSR)とDCP(Distributed-Calibrated Projection)を組み合わせて、様々な特徴を最適化されたサブスペースにマッピングする階層的配向型トークン化(Hierarchical Distribution-Calibrated Tokenization)、(2)フィールドごとのQKVプロジェクションと洗練されたセマンティックインタラクションのためのノイズ適応ゲーティングを備えたフィールド適応型トランスフォーマーバックボーン(FiLM Late Fusion)、(4)コンテキスト対応バイアスネット(Context-Aware Bias Net)をユーザ意図から切り離すためのコンテキスト対応バイアスネット(Context-Aware Bias Net)、(5)堅牢な学習のための動的損失を伴うエラー対応型プログレッシブトレーニング(Error-Aware Progressive Training)の5つの主要なコンポーネントを含む。
Tmall Searchの大規模なオフライン実験とオンラインA/Bテストにより、TmallGSはトレーニングのスループットを改善し、UCTCVRとGMVで大幅に向上した。
関連論文リスト
- Unlocking Feature Learning in Gated Delta Networks at Scale [52.705562336559446]
大規模言語モデルの訓練とスケーリングは膨大な計算資源を必要とする。
我々はGated Delta Networkのスケーリングルールを導出する。
言語モデル事前学習の実験により、我々の構成が安定した学習速度転送を可能にすることが確認された。
論文 参考訳(メタデータ) (2026-06-02T08:45:24Z) - Customer Churn Prediction on Structured Data Using FT-Transformer and Stacking Ensembles [0.0]
本研究では,特徴量変換器(FT-Transformer)をキャリブレーション積み重ねによる勾配木と統合したハイブリッドアーキテクチャを提案する。
提案手法は, 統計的検証, 確率, キャリブレーションの持続的ギャップに対処し, 先行研究で確認された。
パブリックバンクチャーンデータセットでは、ハイブリッドモデル62.10% F1、0.861 AUC-ROC、0.647 PR-AUCがMulti-Layer Perceptron(MLP)ベースラインを3.37 F1ポイント、0.027 AUCを95%の信頼区間で上回っている。
論文 参考訳(メタデータ) (2026-05-26T23:02:38Z) - Position: Weight Space Should Be a First-Class Generative AI Modality [67.10702320971893]
本稿では、モデルチェックポイントを第一級データモダリティとして扱うべきであると論じる。
重み空間における生成的モデリングは、コア機械学習プリミティブとして標準化されるべきである、と論じている。
私たちのゴールは、コミュニティの既定の考え方を、タスクごとのモデルの最適化から、学習した重量分布からモデルのサンプリングにシフトさせることです。
論文 参考訳(メタデータ) (2026-05-18T16:38:26Z) - Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning [49.751529745537546]
我々はDualOptを提案する。DualOptは、スクラッチからトレーニングに適した最適化技術を分離する新しいアプローチである。
スクラッチからのトレーニングでは、収束と一般化の両面を強化するために設計されたリアルタイムな層ワイド・ウェイト・デポジットを導入する。
我々は、異なる下流タスクの様々な要求に適応して、レイヤ単位の重量減衰を拡張して、レイヤ間のロールバックレベルを動的に調整する。
論文 参考訳(メタデータ) (2026-04-21T06:27:18Z) - GFPL: Generative Federated Prototype Learning for Resource-Constrained and Data-Imbalanced Vision Task [43.723840781330914]
フェデレートラーニング(FL)は、分散イメージのセキュアな活用を容易にする。
FLは、非効率的な知識融合と禁止的な通信オーバーヘッドという、現実世界の展開において2つの重要な課題に直面している。
本稿では,これらの問題に対処する新しいジェネレーティブ・フェデレーション・プロトタイプ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-25T12:57:45Z) - EST: Towards Efficient Scaling Laws in Click-Through Rate Prediction via Unified Modeling [13.693397814262681]
近年,産業用クリックスルーレート(CTR)予測の効率化が注目されている。
そこで本研究では,すべての生入力を単一シーケンスで処理して完全に統一されたモデリングを実現する,効率よくスケーラブルな変換器 (EST) を提案する。
ESTは生産ベースラインを大幅に上回り、3.27%のRPM(Revenue Per Mile)と1.22%のCTRリフトを提供する。
論文 参考訳(メタデータ) (2026-02-11T12:51:54Z) - Continual Action Quality Assessment via Adaptive Manifold-Aligned Graph Regularization [53.82400605816587]
アクション品質アセスメント(AQA)は、ビデオにおける人間の行動を定量化し、スポーツスコアリング、リハビリテーション、スキル評価の応用を支援する。
大きな課題は、現実世界のシナリオにおける品質分布の非定常的な性質にある。
本稿では,進化する分布を扱うための連続学習機能を備えた連続AQA(Continuous AQA)を紹介する。
論文 参考訳(メタデータ) (2025-10-08T10:09:47Z) - DART: Dual Adaptive Refinement Transfer for Open-Vocabulary Multi-Label Recognition [59.203152078315235]
Open-Vocabulary Multi-Label Recognition (OV-MLR)は、画像内の複数の見えないオブジェクトカテゴリを識別することを目的としている。
ビジョンランゲージ事前学習モデルは強力なオープン語彙基盤を提供するが、弱い監督下では微粒な局所化に苦慮する。
本稿では,これらの制約を克服するためのDART(Dual Adaptive Refinement Transfer)フレームワークを提案する。
論文 参考訳(メタデータ) (2025-08-07T17:22:33Z) - Fourier Test-time Adaptation with Multi-level Consistency for Robust
Classification [10.291631977766672]
本稿では,Fourier Test-Time Adaptation (FTTA) と呼ばれる新しい手法を提案する。
FTTAは、予測の自己監督を行うために、ペア入力の信頼性の高い多レベル整合性測定を構築する。
異なる形態と器官を持つ3つの大きな分類データセットで広範囲に検証された。
論文 参考訳(メタデータ) (2023-06-05T02:29:38Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳(メタデータ) (2021-12-31T04:37:11Z) - Improving Transformer-Kernel Ranking Model Using Conformer and Query
Term Independence [29.442579683405913]
Transformer-Kernel(TK)モデルは、TREC Deep Learningベンチマークで強力なリランクパフォーマンスを示しています。
TKLと呼ばれるTKモデルの変種が開発され、より長い入力シーケンスを効率的に処理するためにローカルの自己意識が組み込まれている。
本稿では,より長い入力列にtkをスケールするための代替手法として,新しい適合層を提案する。
論文 参考訳(メタデータ) (2021-04-19T15:32:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。