論文の概要: Hiformer: Heterogeneous Feature Interactions Learning with Transformers
for Recommender Systems
- arxiv url: http://arxiv.org/abs/2311.05884v1
- Date: Fri, 10 Nov 2023 05:57:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 15:41:16.339200
- Title: Hiformer: Heterogeneous Feature Interactions Learning with Transformers
for Recommender Systems
- Title(参考訳): Hiformer: Recommenderシステムのためのトランスフォーマーを用いた異種特徴相互作用学習
- Authors: Huan Gui, Ruoxi Wang, Ke Yin, Long Jin, Maciej Kula, Taibai Xu, Lichan
Hong, Ed H. Chi
- Abstract要約: 本稿では,トランスフォーマーをベースとしたアーキテクチャに注目層を配置し,機能的インタラクションを自動的にキャプチャする手法を提案する。
我々は,Webスケールレコメンデータシステムにバニラトランスフォーマーアーキテクチャを適用する上で,2つの重要な課題を特定する。
- 参考スコア(独自算出の注目度): 27.781785405875084
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning feature interaction is the critical backbone to building recommender
systems. In web-scale applications, learning feature interaction is extremely
challenging due to the sparse and large input feature space; meanwhile,
manually crafting effective feature interactions is infeasible because of the
exponential solution space. We propose to leverage a Transformer-based
architecture with attention layers to automatically capture feature
interactions. Transformer architectures have witnessed great success in many
domains, such as natural language processing and computer vision. However,
there has not been much adoption of Transformer architecture for feature
interaction modeling in industry. We aim at closing the gap. We identify two
key challenges for applying the vanilla Transformer architecture to web-scale
recommender systems: (1) Transformer architecture fails to capture the
heterogeneous feature interactions in the self-attention layer; (2) The serving
latency of Transformer architecture might be too high to be deployed in
web-scale recommender systems. We first propose a heterogeneous self-attention
layer, which is a simple yet effective modification to the self-attention layer
in Transformer, to take into account the heterogeneity of feature interactions.
We then introduce \textsc{Hiformer} (\textbf{H}eterogeneous
\textbf{I}nteraction Trans\textbf{former}) to further improve the model
expressiveness. With low-rank approximation and model pruning, \hiformer enjoys
fast inference for online deployment. Extensive offline experiment results
corroborates the effectiveness and efficiency of the \textsc{Hiformer} model.
We have successfully deployed the \textsc{Hiformer} model to a real world large
scale App ranking model at Google Play, with significant improvement in key
engagement metrics (up to +2.66\%).
- Abstract(参考訳): 機能インタラクションの学習は、レコメンダシステム構築における重要なバックボーンである。
ウェブスケールのアプリケーションでは、スパースで大規模な入力機能空間のため、学習機能相互作用は極めて困難であり、一方、指数的解空間のため、効果的な機能相互作用を手作業で作成することは不可能である。
本稿では,注目層を持つトランスフォーマティブベースのアーキテクチャを活用して,特徴的インタラクションを自動的にキャプチャする手法を提案する。
トランスフォーマーアーキテクチャは自然言語処理やコンピュータビジョンなど、多くの領域で大きな成功を収めている。
しかし、産業における特徴的相互作用モデリングにトランスフォーマティブアーキテクチャがあまり採用されていない。
私たちはそのギャップを縮めることを目指している。
我々は,webスケールのレコメンダシステムにバニラトランスアーキテクチャを適用する上で,(1)トランスフォーマアーキテクチャがセルフアテンション層における異種特徴の相互作用を捉えられなかったこと,(2)トランスフォーマアーキテクチャのサービス遅延がwebスケールレコメンダシステムにデプロイするには高すぎる可能性があること,の2つの重要な課題を明らかにする。
まず, 特徴的相互作用の多様性を考慮し, トランスフォーマの自己付着層をシンプルかつ効果的に修正する不均一な自己付着層を提案する。
次に、モデル表現性を改善するために、 \textsc{Hiformer} (\textbf{H}eterogeneous \textbf{I}nteraction Trans\textbf{former})を導入する。
低ランク近似とモデルプルーニングにより、 \hiformerはオンラインデプロイメントの迅速な推論を享受できる。
大規模なオフライン実験の結果は、textsc{Hiformer} モデルの有効性と効率を裏付けるものである。
Google Playのアプリケーションランキングモデルでは,‘textsc{Hiformer}モデルが実世界の大規模にデプロイされ,キーエンゲージメントの指標(+2.66\%まで)が大幅に向上しました。
関連論文リスト
- Transformer variational wave functions for frustrated quantum spin
systems [0.0]
本稿では,ニューラルネットワーク状態の新たなクラスを定義するために,複雑なパラメータを持つViTアーキテクチャの適応を提案する。
ViT波動関数の成功は、局所演算と大域演算の混合に依存する。
論文 参考訳(メタデータ) (2022-11-10T11:56:44Z) - Multi-Behavior Hypergraph-Enhanced Transformer for Sequential
Recommendation [33.97708796846252]
短期および長期のクロスタイプの振る舞い依存を捉えるために,新しいMBHT(Multi-Behavior Hypergraph-enhanced Transformer framework)を導入する。
具体的には、多スケールトランスフォーマーは、細粒度および粗粒度から振舞い対応のシーケンシャルパターンを共同符号化するために、低ランクの自己アテンションを備える。
論文 参考訳(メタデータ) (2022-07-12T15:07:21Z) - Slimmable Domain Adaptation [112.19652651687402]
重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。
私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
論文 参考訳(メタデータ) (2022-06-14T06:28:04Z) - Exploring Structure-aware Transformer over Interaction Proposals for
Human-Object Interaction Detection [119.93025368028083]
我々は、新しいトランスフォーマー型ヒューマンオブジェクトインタラクション(HOI)検出器、すなわち、インタラクション提案(STIP)による構造認識トランスフォーマーを設計する。
STIPはHOIセット予測の過程を、まず相互作用の提案生成を行い、次に構造認識変換器を介して非パラメトリック相互作用提案をHOI予測に変換する2つのフェーズに分解する。
構造対応トランスフォーマーは、相互作用提案間の相同的意味構造を付加してバニラトランスフォーマーをアップグレードし、各相互作用提案内の人間・物体の局所的空間構造を付加し、HOIを強化する。
論文 参考訳(メタデータ) (2022-06-13T16:21:08Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳(メタデータ) (2021-12-31T04:37:11Z) - Local-to-Global Self-Attention in Vision Transformers [130.0369761612812]
トランスフォーマーはコンピュータビジョンタスクに大きな可能性を示した。
最近のTransformerモデルは階層設計を採用しており、セルフアテンションはローカルウィンドウ内でのみ計算される。
この設計は効率を大幅に改善するが、早い段階ではグローバルな特徴推論が欠如している。
本研究では,トランスフォーマーのマルチパス構造を設計し,各ステージにおける複数の粒度での局所的・言語的推論を可能にする。
論文 参考訳(メタデータ) (2021-07-10T02:34:55Z) - GroupBERT: Enhanced Transformer Architecture with Efficient Grouped
Structures [57.46093180685175]
トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。
自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。
得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
論文 参考訳(メタデータ) (2021-06-10T15:41:53Z) - THG: Transformer with Hyperbolic Geometry [8.895324519034057]
X-former"モデルは、自己注意の2次時間とメモリの複雑さにのみ変更を加える。
ユークリッド空間と双曲空間の両方の利点を生かした,双曲幾何モデル(THG)を提案する。
論文 参考訳(メタデータ) (2021-06-01T14:09:33Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。