論文の概要: Context Features Are Cheap: Rank-Aware Decomposition for Efficient Feature Interaction in Recommender Systems
- arxiv url: http://arxiv.org/abs/2605.27450v1
- Date: Sun, 24 May 2026 13:35:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.287088
- Title: Context Features Are Cheap: Rank-Aware Decomposition for Efficient Feature Interaction in Recommender Systems
- Title（参考訳）: 文脈特徴は安易である:レコメンダシステムにおける効率的な特徴相互作用のためのランクアウェア分解
- Authors: Yevgeny Tkach,
- Abstract要約: 本稿では,リコメンデータシステムにおける支配的相互作用機構に適用可能なランクアウェア分解について述べる。
この分解は、コンテキストのみの計算を、元のモデルと同等の1/1の要求から1/1の要求に移行する。
DLRMスタイルのランサーをアーキテクチャ変更せずに生産する場合、分解はポッド当たりのスループットを87.5%向上させる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern industrial recommender systems use a deep ranking model to score N candidates against the same user and context features. Standard implementations broadcast context features early in the forward pass, redundantly computing context-only operations N times per request. We present a rank-aware decomposition applicable to the dominant interaction mechanisms in modern recommender architectures-Factorization Machine (FM) pairwise products, Deep Cross Network (DCNv2) cross layers, self-attention, and fully connected (FC) projection layers-built on a single algebraic principle: any linear or bilinear operation over a rank-partitioned input admits an exact block decomposition that moves context-only computation from once-per-candidate to once-per-request, identity-equivalent to the original model. Closed-form analysis and controlled ablation verify that savings scale quadratically with the number of context features. Applied to a production DLRM-style ranker without any architectural change, the decomposition increases per-pod throughput by 87.5% (a 47% reduction in peak pod count) at identical model predictions. The identity-equivalent decomposition applies only at the first layer of cross networks and self-attention, since each layer mixes ranks in its output. To extend savings across depth, we further introduce rDCN, an architectural variant of DCNv2 that maintains rank discipline across depth and matches DCNv2 accuracy within training noise at 67% fewer total FLOPs, and sketch an analogous architectural variant for self-attention.
- Abstract（参考訳）: 現代の産業レコメンデータシステムは、N候補を同じユーザとコンテキストの特徴に対してスコア付けするために、ディープランキングモデルを使用している。
標準実装では、フォワードパスの早い段階でコンテキストをブロードキャストし、リクエスト毎にコンテキストのみの操作を冗長に計算する。
本稿では,近年のレコメンデータアーキテクチャにおける支配的相互作用機構に適用可能なランクアウェア分解について述べる。 クロス層, 自己アテンション, および完全連結(FC)プロジェクション層を1つの代数的原理で構築する。
クローズドフォーム解析と制御されたアブレーションは、保存がコンテキスト特徴の数と2次的にスケールすることを検証する。
DLRMスタイルのランサーをアーキテクチャの変更なしに生産した場合、分解はポッド当たりのスループットを87.5%向上させる(ピークポッドカウントの47%削減)。
同一値分解は、各層がその出力のランクを混合するため、クロスネットワークの第1層と自己注意層にのみ適用される。
深度にわたっての保存を拡大するため、深度にわたってランクの規律を維持し、トレーニングノイズ中のDCNv2精度を67%削減したDCNv2のアーキテクチャ変種であるrDCNを導入し、自己注意のための類似のアーキテクチャ変種をスケッチする。
関連論文リスト
- RaBiT: Residual-Aware Binarization Training for Accurate and Efficient LLMs [5.782015253162346]
残留バイナライゼーションは、バイナリ層を積み重ねることで、マットルフリーな推論を可能にする。
本稿では,残差階層をアルゴリズム的に強制することでコダプタ化を解決する新しい量子化フレームワークであるRaBiTを提案する。
RaBiTは最先端のパフォーマンスを実現し、ハードウェア集約型ベクトル量子化(VQ)の手法と競合する。
論文 参考訳（メタデータ） (2026-02-05T06:41:11Z) - GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。
GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
論文 参考訳（メタデータ） (2025-11-28T07:26:45Z) - Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。
NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。
我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
論文 参考訳（メタデータ） (2025-09-22T15:13:14Z) - Towards Efficient General Feature Prediction in Masked Skeleton Modeling [59.46799426434277]
マスクスケルトンモデリングのための新しい汎用特徴予測フレームワーク(GFP)を提案する。
我々の重要な革新は、局所的な動きパターンからグローバルな意味表現にまたがる、従来の低レベルな再構築を高レベルな特徴予測に置き換えることです。
論文 参考訳（メタデータ） (2025-09-03T18:05:02Z) - Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。
本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
論文 参考訳（メタデータ） (2025-01-08T20:11:09Z) - Self-Balanced R-CNN for Instance Segmentation [2.059150828428537]
インスタンスセグメンテーションタスクにおける現在の最先端の2段階モデルは、いくつかのタイプの不均衡に悩まされている。
本稿では、第2段階のトレーニングにおいて、利益の正の入力領域(RoIs)のユニオン(IoU)分布不均衡について述べる。
我々のセルフバランスR-CNNモデルは、バウンディングボックスとマスクリファインメントの全く新しいループメカニズムを提供する。
論文 参考訳（メタデータ） (2024-04-25T14:22:44Z) - An Adaptive and Stability-Promoting Layerwise Training Approach for Sparse Deep Neural Network Architecture [0.0]
この研究は、与えられたトレーニングデータセットに対してうまく一般化するディープニューラルネットワーク(DNN)アーキテクチャを開発するための2段階適応フレームワークを提案する。
第1段階では、新しいレイヤを毎回追加し、前のレイヤでパラメータを凍結することで独立してトレーニングする、レイヤワイズトレーニングアプローチが採用されている。
本稿では, 学習アルゴリズムの望ましい特性として, エプシロン・デルタ安定促進の概念を導入し, 多様体正規化を用いることで, エプシロン・デルタ安定促進アルゴリズムが得られることを示す。
論文 参考訳（メタデータ） (2022-11-13T09:51:16Z) - Squeezeformer: An Efficient Transformer for Automatic Speech Recognition [99.349598600887]
Conformerは、そのハイブリッドアテンション・コンボリューションアーキテクチャに基づいて、様々な下流音声タスクの事実上のバックボーンモデルである。
Squeezeformerモデルを提案する。これは、同じトレーニングスキームの下で、最先端のASRモデルよりも一貫して優れている。
論文 参考訳（メタデータ） (2022-06-02T06:06:29Z) - Residual Multiplicative Filter Networks for Multiscale Reconstruction [24.962697695403037]
我々は,学習した再構成の周波数サポートをきめ細かな制御で粗大な最適化を可能にする,新しい座標ネットワークアーキテクチャとトレーニング手法を提案する。
これらの修正によって、自然画像への粗大なフィッティングのマルチスケール最適化が実現されることを示す。
次に, 単粒子Creo-EM再構成問題に対する合成データセットのモデル評価を行った。
論文 参考訳（メタデータ） (2022-06-01T20:16:28Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。