論文の概要: TriMLP: Revenge of a MLP-like Architecture in Sequential Recommendation
- arxiv url: http://arxiv.org/abs/2305.14675v2
- Date: Sun, 23 Jul 2023 22:41:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 21:04:17.033178
- Title: TriMLP: Revenge of a MLP-like Architecture in Sequential Recommendation
- Title（参考訳）: TriMLP: シーケンスレコメンデーションにおけるMLPのようなアーキテクチャの回避
- Authors: Yiheng Jiang, Yuanbo Xu, Yongjian Yang, Funing Yang, Pengyang Wang and
Hui Xiong
- Abstract要約: 本稿では,新しいアンダーラインTriangular Mixerを用いたTriMLPのシーケンシャルレコメンデーションアーキテクチャを提案する。
我々は,TriMLPが有望かつ安定した精度/効率のトレードオフを実現し,最先端のベースラインを5.32%越え,推論時間コストを8.44%削減したことを示す。
- 参考スコア（独自算出の注目度）: 23.32537260687907
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequential recommendation models sequences of historical user-item
interactive behaviors (or referred as token) to better infer dynamic
preferences. Fueled by the improved neural network architectures such as RNN,
CNN and Transformer, this field has enjoyed rapid performance boost in the past
years. Recent progress on all-MLP models lights on an efficient method with
less intensive computation, token-mixing MLP, to learn the transformation
patterns among historical behaviors. However, due to the inherent
fully-connection design that allows the unrestricted cross-token communication
and ignores the chronological order, we find that directly applying
token-mixing MLP into sequential recommendation leads to subpar performance. In
this paper, we present a purely MLP-based sequential recommendation
architecture TriMLP with a novel \underline{Tri}angular Mixer where the
modified \underline{MLP} endows tokens with ordered interactions. As the
cross-token interaction in MLP is actually matrix multiplication, Triangular
Mixer drops the lower-triangle neurons in the weight matrix and thus blocks the
connections from future tokens, which prevents information leakage and improves
prediction capability under the standard auto-regressive training fashion. To
further model long and short-term preferences on fine-grained level, the mixer
adopts a dual-branch structure based on the delicate MLP described above,
namely global and local mixing, to separately capture the sequential long-range
dependencies and local patterns. Empirical study on 9 different scale datasets
(contain 50K\textasciitilde20M behaviors) of various benchmarks, including
MovieLens, Amazon and Tenrec, demonstrates that TriMLP attains promising and
stable accuracy/efficiency trade-off, i.e., averagely surpasses several
state-of-the-art baselines by 5.32\% and saves 8.44\% inference time cost.
- Abstract（参考訳）: シークエンシャルレコメンデーション(Sequential recommendation)は、動的嗜好の推論を改善するために、歴史的なユーザ・イテムの対話行動(またはトークンと呼ばれる)のシーケンスをモデル化する。
rnn、cnn、transformerといった改良されたニューラルネットワークアーキテクチャによって、この分野はここ数年で急速にパフォーマンスが向上した。
オールMLPモデルの最近の進歩は、過去の行動の変換パターンを学習するために、より少ない計算量であるトークン混合MLPの効率的な方法に光を当てている。
しかし,制約のないクロストケン通信を許容し,時系列順序を無視する固有の完全接続設計により,トークン混合mlpを逐次レコメンデーションに直接適用することで性能が低下することがわかった。
本稿では、修正された \underline{MLP} がトークンに順序付き相互作用を付与する新しい \underline{Tri}angular Mixer を備えた、純粋な MLP ベースのシーケンシャルレコメンデーションアーキテクチャTriMLPを提案する。
mlpのクロス-トケン相互作用は実際には行列の乗算であるので、三角形のミキサーは重み行列内の低三角ニューロンを落とし、将来のトークンからの接続をブロックし、情報漏洩を防ぎ、標準の自己回帰訓練方式で予測能力を向上させる。
細粒度での長期および短期の嗜好を更にモデル化するため、ミキサーは、上述の繊細なmlp、すなわちグローバルおよびローカルミキシングに基づくデュアルブランチ構造を採用し、シーケンシャルな長距離依存性と局所パターンを別々に捉える。
MovieLens、Amazon、Tenrecを含む、さまざまなベンチマークの9つの異なるスケールデータセット(50K\textasciitilde20Mの振る舞いを含む)に関する実証的研究は、TriMLPが有望で安定した精度/効率のトレードオフを実現していることを実証している。
関連論文リスト
- Strip-MLP: Efficient Token Interaction for Vision MLP [31.02197585697145]
textbfStrip-MLPを導入し,トークン間相互作用を3つの方法で強化する。
Strip-MLPは、小さなデータセット上での空間モデルの性能を大幅に改善する。
CIFAR-100ではCaltech-101では+2.44%、CIFAR-100では+2.16%である。
論文 参考訳（メタデータ） (2023-07-21T09:40:42Z) - MLP-3D: A MLP-like 3D Architecture with Grouped Time Mixing [123.43419144051703]
ビデオ認識のための斬新な3Dアーキテクチャを提案する。
結果は、最先端の3D CNNやビデオに匹敵する。
論文 参考訳（メタデータ） (2022-06-13T16:21:33Z) - Mixing and Shifting: Exploiting Global and Local Dependencies in Vision
MLPs [84.3235981545673]
Token-mixing Multi-layer Perceptron (MLP) モデルはコンピュータビジョンタスクにおいて競合性能を示す。
本研究では,空間シフトの量に関して,局所受容場のサイズを増大させるMix-Shift-MLPを提案する。
MS-MLPは、複数のビジョンベンチマークで競合性能を達成する。
論文 参考訳（メタデータ） (2022-02-14T06:53:48Z) - RepMLPNet: Hierarchical Vision MLP with Re-parameterized Locality [113.1414517605892]
そこで本研究では,FC層に局所前処理を組み込む手法であるLocality Injectionを提案する。
RepMLPNetはCityscapesセマンティックセグメンテーションにシームレスに移行した最初の企業である。
論文 参考訳（メタデータ） (2021-12-21T10:28:17Z) - Sparse-MLP: A Fully-MLP Architecture with Conditional Computation [7.901786481399378]
厳密な条件計算を伴うMoE(Mixture-of-Experts)は、注意に基づくモデルを、同等の計算コストでより多くのパラメータに拡張するための効果的なアーキテクチャであることが証明されている。
我々は、より効率的なアーキテクチャを実現するために、最近のMixerモデルをMoEで拡張するSparse-MLPを提案する。
論文 参考訳（メタデータ） (2021-09-05T06:43:08Z) - Hire-MLP: Vision MLP via Hierarchical Rearrangement [58.33383667626998]
Hire-MLPは、再配置によるシンプルだが競合する視覚アーキテクチャである。
提案したHire-MLPアーキテクチャは、単純なチャネル混合操作で構築されており、高い柔軟性と推論速度を享受できる。
実験の結果,Herre-MLPはImageNet-1Kベンチマークで最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2021-08-30T16:11:04Z) - CycleMLP: A MLP-like Architecture for Dense Prediction [26.74203747156439]
CycleMLPは視覚認識と密度予測のための汎用的なバックボーンである。
様々な画像サイズに対処でき、ローカルウィンドウを使用することで、画像サイズに対する線形計算の複雑さを実現する。
CycleMLPは、モデルに対するオブジェクト検出、インスタンスセグメンテーション、セマンティックセグメンテーションの競合するベースラインを提供することを目的としている。
論文 参考訳（メタデータ） (2021-07-21T17:23:06Z) - AS-MLP: An Axial Shifted MLP Architecture for Vision [50.11765148947432]
本稿では,Axial Shifted Architecture (AS-MLP)を提案する。
特徴写像のチャネルを軸シフトすることにより、AS-MLPは異なる方向から情報の流れを得ることができる。
提案したAS-MLPアーキテクチャでは,ImageNet-1Kデータセット上の88Mパラメータと15.2GFLOPを用いて,83.3%のTop-1精度が得られる。
論文 参考訳（メタデータ） (2021-07-18T08:56:34Z) - S$^2$-MLP: Spatial-Shift MLP Architecture for Vision [34.47616917228978]
近年、視覚変換器(ViT)とその後続の作業は、畳み込みを放棄し、自己注意操作を活用している。
本稿では,空間シフト(S$2$-MLP)という新しい純粋アーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-06-14T15:05:11Z) - MLP-Mixer: An all-MLP Architecture for Vision [93.16118698071993]
マルチ層パーセプトロン(MLP)を基盤としたアーキテクチャ「Mixer」を発表。
Mixerはイメージ分類ベンチマークで競合スコアを獲得し、事前トレーニングと推論は最先端のモデルに匹敵する。
論文 参考訳（メタデータ） (2021-05-04T16:17:21Z) - Irregularly Tabulated MLP for Fast Point Feature Embedding [13.218995242910497]
本稿では,一対の多層パーセプトロン (MLP) とルックアップテーブル (LUT) を用いて,点座標入力を高次元特徴に変換する新しいフレームワークを提案する。
LUTIMLPはまた、埋め込み関数のヤコビアンに対して大きなスピードアップを提供する。
論文 参考訳（メタデータ） (2020-11-13T04:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。