論文の概要: From Features to Transformers: Redefining Ranking for Scalable Impact
- arxiv url: http://arxiv.org/abs/2502.03417v1
- Date: Wed, 05 Feb 2025 18:02:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-06 14:26:50.158551
- Title: From Features to Transformers: Redefining Ranking for Scalable Impact
- Title（参考訳）: 機能からトランスフォーマーへ:スケーラブルなインパクトのためのランク付けを再定義
- Authors: Fedor Borisyuk, Lars Hertel, Ganesh Parameswaran, Gaurav Srivastava, Sudarshan Srinivasa Ramanujam, Borja Ocejo, Peng Du, Andrei Akterskii, Neil Daftary, Shao Tang, Daqi Sun, Qiang Charles Xiao, Deepesh Nathani, Mohit Kothari, Yun Dai, Aman Gupta,
- Abstract要約: LiGRはLinkedInが開発した大規模ランキングフレームワークである。
本稿では,学習の正規化とユーザ履歴とランキング項目への同時注意を取り入れた改良型トランスフォーマーアーキテクチャを提案する。
- 参考スコア（独自算出の注目度）: 6.774737670041905
- License:
- Abstract: We present LiGR, a large-scale ranking framework developed at LinkedIn that brings state-of-the-art transformer-based modeling architectures into production. We introduce a modified transformer architecture that incorporates learned normalization and simultaneous set-wise attention to user history and ranked items. This architecture enables several breakthrough achievements, including: (1) the deprecation of most manually designed feature engineering, outperforming the prior state-of-the-art system using only few features (compared to hundreds in the baseline), (2) validation of the scaling law for ranking systems, showing improved performance with larger models, more training data, and longer context sequences, and (3) simultaneous joint scoring of items in a set-wise manner, leading to automated improvements in diversity. To enable efficient serving of large ranking models, we describe techniques to scale inference effectively using single-pass processing of user history and set-wise attention. We also summarize key insights from various ablation studies and A/B tests, highlighting the most impactful technical approaches.
- Abstract（参考訳）: LiGRはLinkedInが開発した大規模ランキングフレームワークで、最先端のトランスフォーマーベースのモデリングアーキテクチャを本番環境に持ち込みます。
本稿では,学習の正規化とユーザ履歴とランキング項目への同時注意を取り入れた改良型トランスフォーマーアーキテクチャを提案する。
本アーキテクチャは,(1)最も手動で設計された機能工学の非推奨,(ベースラインにおいて数百に比較して)少数の特徴を用いた先行技術システムの性能向上,(2)ランキングシステムのスケーリング法則の検証,大規模モデルによるパフォーマンス向上,トレーニングデータの向上,および長期のコンテキストシーケンス,(3)項目の同時同時スコアリングなど,いくつかの画期的な成果を実現する。
大規模ランキングモデルの効率的な提供を可能にするため,ユーザ履歴の単一パス処理と設定的注意力を用いて推論を効果的にスケールする手法について述べる。
また、さまざまなアブレーション研究やA/Bテストから重要な洞察を要約し、最も影響力のある技術的アプローチを強調します。
関連論文リスト
- AsCAN: Asymmetric Convolution-Attention Networks for Efficient Recognition and Generation [48.82264764771652]
本稿では,畳み込みブロックと変圧器ブロックを組み合わせたハイブリッドアーキテクチャAsCANを紹介する。
AsCANは、認識、セグメンテーション、クラス条件画像生成など、さまざまなタスクをサポートしている。
次に、同じアーキテクチャをスケールして、大規模なテキスト・イメージタスクを解決し、最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2024-11-07T18:43:17Z) - Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。
モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。
このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
論文 参考訳（メタデータ） (2024-07-12T09:24:34Z) - Hiformer: Heterogeneous Feature Interactions Learning with Transformers
for Recommender Systems [27.781785405875084]
本稿では,トランスフォーマーをベースとしたアーキテクチャに注目層を配置し,機能的インタラクションを自動的にキャプチャする手法を提案する。
我々は,Webスケールレコメンデータシステムにバニラトランスフォーマーアーキテクチャを適用する上で,2つの重要な課題を特定する。
論文 参考訳（メタデータ） (2023-11-10T05:57:57Z) - ProFormer: Learning Data-efficient Representations of Body Movement with
Prototype-based Feature Augmentation and Visual Transformers [31.908276711898548]
身体からのデータ効率の高い認識法は、画像のような配列として構造化された骨格配列をますます活用している。
我々は、このパラダイムをトランスフォーマーネットワークの観点から見て、初めて、骨格運動のデータ効率の高いエンコーダとして視覚トランスフォーマーを探索する。
私たちのパイプラインでは、画像のような表現としてキャストされたボディポーズシーケンスをパッチ埋め込みに変換し、深いメトリック学習に最適化されたビジュアルトランスフォーマーバックボーンに渡します。
論文 参考訳（メタデータ） (2022-02-23T11:11:54Z) - Improving Sample Efficiency of Value Based Models Using Attention and
Vision Transformers [52.30336730712544]
性能を犠牲にすることなくサンプル効率を向上させることを目的とした深層強化学習アーキテクチャを提案する。
状態表現の特徴マップ上の自己注意機構を変換器を用いて学習する視覚的注意モデルを提案する。
我々は,このアーキテクチャがいくつかのAtari環境におけるサンプルの複雑さを向上すると同時に,いくつかのゲームにおいて優れたパフォーマンスを実現することを実証的に実証した。
論文 参考訳（メタデータ） (2022-02-01T19:03:03Z) - Billion-Scale Pretraining with Vision Transformers for Multi-Task Visual
Representations [9.6221436745451]
弱教師付き事前学習によって10億以上の画像を持つデータセットを生成する方法について述べる。
従来の畳み込みバックボーンを置き換えるためにTransformerを活用しています。
本稿では,大規模トランスフォーマーによる事前学習が,産業用コンピュータビジョンアプリケーションに多大な効果をもたらすことを示す。
論文 参考訳（メタデータ） (2021-08-12T17:58:56Z) - GroupBERT: Enhanced Transformer Architecture with Efficient Grouped
Structures [57.46093180685175]
トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。
自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。
得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
論文 参考訳（メタデータ） (2021-06-10T15:41:53Z) - Enhancing Cross-Sectional Currency Strategies by Ranking Refinement with
Transformer-based Architectures [6.759148939470331]
我々は、元のランクリストを精算するモデルを学ぶ。
再ランク付けされたフレームワークでは、極端な資産の特徴をエンコードするためにTransformerアーキテクチャを適用します。
提案手法は,31通貨をバックテストし,シャープ比を大幅に向上させる。
論文 参考訳（メタデータ） (2021-05-20T20:30:41Z) - Thinking Fast and Slow: Efficient Text-to-Visual Retrieval with
Transformers [115.90778814368703]
目的は,大規模画像とビデオデータセットの言語検索である。
このタスクでは、独立してテキストとビジョンを共同埋め込み空間 a.k.a にマッピングする。
デュアルエンコーダは 検索スケールとして魅力的です
視覚テキスト変換器をクロスアテンションで使用する別のアプローチは、関節埋め込みよりも精度が大幅に向上する。
論文 参考訳（メタデータ） (2021-03-30T17:57:08Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。