論文の概要: TransRetrieval: Scaling Up Transformer-Based Retrieval for Industrial Recommendation

• arxiv url: http://arxiv.org/abs/2608.25528v1
• Date: Wed, 26 Aug 2026 08:35:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.686645
• Title: TransRetrieval: Scaling Up Transformer-Based Retrieval for Industrial Recommendation
• Title（参考訳）: TransRetrieval: インダストリアルレコメンデーションのための Transformer-based Retrieval のスケールアップ
• Abstract要約: 計算予算とクロスドメインデータの両方でスケールするTransformerベースの検索フレームワークであるTransRetrievalを提案する。 40ビリオンの産業データセットでは、ターゲット当たり0.1から2MFLOPのスケーリング計算は+19.3/+22.2pt Recall@2000である。 オンラインA/Bテストでは、TransRetrievalは、プロダクションベースラインと同じエンドツーエンドのレイテンシ制約の下で、プラットフォーム収益を2.53%引き上げる。
• 参考スコア（独自算出の注目度）: 19.45139517853295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Applying scaling laws to recommendation retrieval is hindered by feature heterogeneity: naively stacking Transformer layers yields diminishing returns because heterogeneous fields produce severe token-norm divergence. We present TransRetrieval, a Transformer-based retrieval framework that scales with both computational budget and cross-domain data. The key enabler is (1) weighted average aggregation, which restores the homogeneous-token assumption Transformers rely on. Building on this, we introduce (2) target token compression that cuts per-candidate FLOPs by 85% while preserving cross-attention expressiveness, and (3) position-style domain embeddings that unify multiple domains at negligible additional cost, turning cross-domain data into a scaling asset. On a 40-billion-interaction industrial dataset and the public KuaiRand benchmark, scaling compute from 0.1 to 2 MFLOPs per target yields +19.3/+22.2 pt Recall@2000, confirming robust log-linear scaling. In online A/B tests, TransRetrieval lifts platform revenue by 2.53% under the same end-to-end latency constraint as the production baseline.
• Abstract（参考訳）: Naively stacking Transformer Layers yields decreaseing Returns because heterogeneous field produce severe token-norm divergence。 計算予算とクロスドメインデータの両方でスケールするTransformerベースの検索フレームワークであるTransRetrievalを提案する。 鍵となるイネーブルは(1)重み付けされた平均アグリゲーションであり、トランスフォーマーが依存する均一な仮定を復元する。 これに基づいて,(2)候補毎のFLOPを85%削減する目標トークン圧縮,(3)複数のドメインを無視可能な追加コストで統一する位置スタイルドメイン埋め込みを導入し,クロスドメインデータをスケーリング資産に変換する。 40ビリオンの産業データセットとパブリックなKuaiRandベンチマークでは、ターゲットの収率あたり0.1から2MFLOPのスケーリング計算が +19.3/+22.2pt Recall@2000 となり、堅牢なログ線形スケーリングが確認された。 オンラインA/Bテストでは、TransRetrievalは、プロダクションベースラインと同じエンドツーエンドのレイテンシ制約の下で、プラットフォーム収益を2.53%引き上げる。

関連論文リスト

• From Language to Behavior: Scaling Sequence Transformers for Industrial Recommendation Ranking with Rec-Native Designs [20.42858135695384]
  ReSTはレコメンデーションネイティブなTransformerスケーリングフレームワークである。 信号品質のために、二重ゲートの注意を持つシーケンスエンコーダを導入している。 非対称性では、ランキングを重い再利用可能なエンコーダとデコーダに分解する。
  論文  参考訳（メタデータ） (2026-09-01T13:40:36Z)
• T^2MLR: Transformer with Temporal Middle-Layer Recurrence [28.818755729513793]
  我々は,キャッシュされた中間層表現を前者のトークンから直接,現在のトークン位置の前のレイヤに融合させる,トランスフォーマーベースの潜時推論アーキテクチャを開発した。 ローカライズされた中間層ブロックのみ(ネットワークの20%以下)にリカレンスを適用すると、フルレイヤのリカレンスを上回ることがしばしばある。 これらの結果は、トランスフォーマーの効果的な潜伏推論は、以前の作業のように全てのレイヤをループする必要はなく、ターゲットとなる中層再発からより強く現れることを示唆している。
  論文  参考訳（メタデータ） (2026-07-16T16:33:59Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
  N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。 N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
  論文  参考訳（メタデータ） (2026-05-13T08:46:17Z)
• Gated Removal of Normalization in Transformers Enables Stable Training and Efficient Inference [2.1665689529884697]
  RMSNorm/LayerNormをドロップインで置き換えたTaperNormを紹介します。 1つのグローバルゲートは、ゲートウォームアップ中に$g=1$で保持され、EMAを介してスケーリングブランチをキャリブレーションし、コサインデケイを$g=0$にする。 マイクロベンチマークでは、折りたたみ内部のスケーリングは、ラスト・トーケン・ロジット・モードで最大1.22倍のスループットを得る。
  論文  参考訳（メタデータ） (2026-02-11T01:40:34Z)
• Hybrid Dual-Path Linear Transformations for Efficient Transformer Architectures [0.0]
  本稿では,アフィン変換を2つのトポロジカルな経路に分解するHybrid Dual-Path Linear (HDPL)演算子について紹介する。 FineWeb-Eduデータセットの実験では、HDPLアーキテクチャが標準のLlamaスタイルのベースラインより優れていることが示されている。 本稿では,トランスフォーマーのバックボーン内での確率的潜在空間の明示的な物質化が,重要な建築的余裕として果たす役割について論じる。
  論文  参考訳（メタデータ） (2026-02-05T20:16:10Z)
• GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
  一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。 GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
  論文  参考訳（メタデータ） (2025-11-28T07:26:45Z)
• PRISM: Distributed Inference for Foundation Models at Edge [73.54372283220444]
  PRISMは、エッジデバイス上での分散トランスフォーマー推論のための通信効率と計算アウェア戦略である。 ViT,BERT,GPT-2のPRISMを多種多様なデータセットで評価した。
  論文  参考訳（メタデータ） (2025-07-16T11:25:03Z)
• Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation [58.4650849317274]
  Volumetric Aggregation with Transformers (VAT)は、数ショットセグメンテーションのためのコスト集約ネットワークである。 VATは、コスト集約が中心的な役割を果たすセマンティック対応のための最先端のパフォーマンスも達成する。
  論文  参考訳（メタデータ） (2022-07-22T04:10:30Z)
• Resource-Efficient Separation Transformer [14.666016177212837]
  本稿では,トランスフォーマーを用いた音声分離手法について,計算コストの削減による検討を行う。 私たちの主な貢献は、自己注意に基づくアーキテクチャであるResource-Efficient separation Transformer (RE-SepFormer)の開発です。 RE-SepFormerは、一般的なWSJ0-2MixとWHAM!データセットにおいて、因果設定と非因果設定の両方で競合するパフォーマンスに達する。
  論文  参考訳（メタデータ） (2022-06-19T23:37:24Z)
• Decoupled Transformer for Scalable Inference in Open-domain Question Answering [0.0]
  BERTのような大規模変圧器モデルは、オープンドメイン質問応答(QA)のための機械読解(MRC)の最先端結果が得られる。 SQUAD 2.0データセットの実験では、切り離された変換器は、標準変換器に比べて1.2ポイント悪いF1スコアで、オープンドメインMCCの計算コストとレイテンシを30-40%削減する。
  論文  参考訳（メタデータ） (2021-08-05T17:53:40Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。