論文の概要: TransX Technical Report: Scaling Sequence Transduction for Recommendation
- arxiv url: http://arxiv.org/abs/2610.20913v1
- Date: Wed, 14 Oct 2026 20:43:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.067144
- Title: TransX Technical Report: Scaling Sequence Transduction for Recommendation
- Title（参考訳）: TransX Technical Report: Scaling Sequence Transduction for Recommendation
- Abstract要約: TransXはシーケンシャルトランスダクションフレームワークであり、産業レコメンデーションをスケールするためのインフラを共同設計している。
クリック・アンド・コンバージョンでTransXをトレーニングし、検索・選好ランク付けのための共有行動インターフェースをポストトレーニングし、生成的レコメンデーションをオフラインで探索する。
- 参考スコア（独自算出の注目度）: 4.750812376477589
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present TransX, a sequence-transduction framework and co-designed infrastructure for scaling industrial recommendation with explicit control over model-compute allocation and execution amortization. TransX separates sequence encoding, behavior memory, and candidate-conditioned fusion into independently scalable components. Training amortizes causal trajectory computation across behavioral prefixes and fans out memory states to candidates; serving disaggregates bulk prefill, nearline refresh, and online prediction through compact behavior-memory KV. We observe anisotropic scaling returns: encoder scaling may saturate beyond moderate depth at fixed memory resolution and fusion capacity; increasing supervision shifts the allocation frontier toward candidate-conditioned fusion; and the memory resolution needed to preserve quality remains roughly stable as model capacity grows. We train TransX on click and conversion, post-train its shared behavioral interface for retrieval and preference ranking, and explore generative recommendation offline. In separate production A/B experiments, the core TransX model improves CTR by 6.02% and conversion by 4.45%, while post-trained retrieval and preference-ranking variants improve CTR by 2.96% and conversion by 1.33%, respectively, over corresponding production baselines. Under matched training conditions, the training infrastructure increases supervised-target throughput by 84%. In serving, disaggregation reduces TransX's total serving cost by nearly 80% versus colocated serving at matched traffic and SLO, enabling approximately 5X the per-request model FLOPs of the HSTU-style production baseline at the same total serving cost. At matched per-request model FLOPs, TransX delivers approximately 4X higher request throughput per H200. These results show that online serving cost need not grow proportionally with recommendation model capacity.
- Abstract（参考訳）: 提案するTransXは,産業レコメンデーションをスケールするためのシーケンストランスダクションフレームワークであり,モデル計算のアロケーションと実行のアモート化を明示的に制御する。
TransXはシーケンスエンコーディング、動作メモリ、候補条件の融合を独立してスケーラブルなコンポーネントに分離する。
トレーニングは行動のプレフィル、ニアラインリフレッシュ、オンラインの予測をコンパクトな行動記憶KVで分解する。
エンコーダスケーリングは、固定メモリ解像度と核融合容量で適度な深さを超えて飽和し、監督は、候補条件の核融合に向けてアロケーションフロンティアをシフトさせ、モデルキャパシティが増大するにつれて、品質を維持するために必要なメモリ解像度は、大まかに安定している。
クリック・アンド・コンバージョンでTransXをトレーニングし、検索・選好ランク付けのための共有行動インターフェースをポストトレーニングし、生成的レコメンデーションをオフラインで探索する。
別々の生産A/B実験では、コアトランスXモデルはCTRを6.02%改善し、変換を4.45%改善する一方、訓練後の検索と選好レベルの変種はCTRを2.96%改善し、変換を1.33%改善する。
一致したトレーニング条件下では、トレーニングインフラストラクチャは教師対象のスループットを84%向上させる。
サービス提供において、ディスアグリゲーションはTransXの総サービスコストを80%近く削減し、一致するトラフィックやSLOでのサービス提供と比較して、HSTUスタイルの生産ベースラインの要求毎のFLOPの約5倍を同じサービスコストで実現した。
一致する要求毎のFLOPでは、TransXはH200あたりの要求スループットを約4倍にします。
これらの結果から,オンラインサービスコストは推薦モデル能力に比例して増大する必要はないことが示唆された。
関連論文リスト
- CoTrace: Data Recipes for Training Terminal Agents with Harness-Model Co-Evolution [68.76788820731048]
CoTraceは、トラジェクトリルーティング、プロファイランスマッチング、リフレッシュを管理するハーネス対応のデータレシピである。
コンパクトなハーネス整合コーパスは、兄弟ハーネスにまたがるより大きなコーパスよりも、かなり低い計算で安定したモデルゲインを生成することを示す。
論文 参考訳（メタデータ） (2026-10-07T17:06:59Z) - Adaptive Phase-Switching for Communication-Efficient Federated LoRA Fine-Tuning [0.0]
本稿では,双方向のB-only Federated LoRAプロトコルに対して,全単位のアップロードとダウンロードのバイト数を計測する。
TinyLlama-1.1B-Chat with Alpacaでは、リバースは0.0063の命令追従損失でFLoRAの40.5%のラウンドトリップの節約を達成した。
論文 参考訳（メタデータ） (2026-09-11T20:24:39Z) - TransRetrieval: Scaling Up Transformer-Based Retrieval for Industrial Recommendation [19.45139517853295]
計算予算とクロスドメインデータの両方でスケールするTransformerベースの検索フレームワークであるTransRetrievalを提案する。
40ビリオンの産業データセットでは、ターゲット当たり0.1から2MFLOPのスケーリング計算は+19.3/+22.2pt Recall@2000である。
オンラインA/Bテストでは、TransRetrievalは、プロダクションベースラインと同じエンドツーエンドのレイテンシ制約の下で、プラットフォーム収益を2.53%引き上げる。
論文 参考訳（メタデータ） (2026-08-26T08:35:16Z) - TransX: Scaling Transformer-based Recommendation via Behavioral and Serving Stream Crossings [4.750812376477589]
本稿では,シーケンス・ツー・シーケンスのアクション問題として推奨を再構成する,生産指向のエンコーダ・デコーダアーキテクチャであるTransXを提案する。
低レイテンシで高QPSデプロイメントを実現するため、TransXは、インクリメンタルなビヘイビアエンコーディングとリクエスト毎のキー値キャッシュを組み合わせた、アモータイズされたサービス戦略で設計されている。
論文 参考訳（メタデータ） (2026-07-31T01:42:57Z) - Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。
継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
論文 参考訳（メタデータ） (2026-07-09T07:37:59Z) - Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。
2次元空間伝搬伝搬に基づくC-GSPNを提案する。
論文 参考訳（メタデータ） (2026-05-30T14:29:43Z) - Frontier: Towards Comprehensive and Accurate LLM Inference Simulation [15.58999342618182]
本稿では,現代のLLM推論サービスのための離散イベントシミュレータであるFrontierを紹介する。
これは、コロケーション、プリフィル・デコード・デアグリゲーション(PDD)、アテンション・FFN・デアグリゲーション(AFD)をモデル化することで、現代のサービスシステムの構造ダイナミクスを捉える。
16-H800 GPUテストベッドでは、Frontierは4%未満の平均エラーを達成した。最先端のシミュレータと比較すると、コロケーション時のエンドツーエンドのレイテンシエラーは44.9%から6.4%に減少し、デアグリゲーション時の52.6%に低下する。
論文 参考訳（メタデータ） (2026-05-20T15:40:18Z) - LiQSS: Post-Transformer Linear Quantum-Inspired State-Space Tensor Networks for Real-Time 6G [85.58816960936069]
Sixth-Generation (6G) Open Radio Access Networks (O-RAN) における能動的およびエージェント的制御は、厳密なニアタイム(Near-RT)レイテンシと計算制約の下で制御グレードの予測を必要とする。
本稿では,効率的な無線テレメトリ予測のための変圧器後パラダイムについて検討する。
本稿では、自己アテンションを安定な状態空間動的カーネルに置き換える量子インスピレーション付き状態空間テンソルネットワークを提案する。
論文 参考訳（メタデータ） (2026-01-18T12:08:38Z) - CoT-X: An Adaptive Framework for Cross-Model Chain-of-Thought Transfer and Optimization [5.857877898558651]
CoT(Chain-of-Thought)推論は、大規模言語モデル(LLM)の問題解決能力を高めるが、かなりの推論オーバーヘッドをもたらす。
本稿では、適応的推論要約フレームワークを用いて、異なるスケールとアーキテクチャのモデル間での効率的なCoT転送について検討する。
論文 参考訳（メタデータ） (2025-11-07T22:35:31Z) - HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。
本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。
テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文 参考訳（メタデータ） (2024-11-10T19:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。