論文の概要: MOI-Mixer: Improving MLP-Mixer with Multi Order Interactions in Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2108.07505v1
• Date: Tue, 17 Aug 2021 08:38:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-18 20:04:58.653746
• Title: MOI-Mixer: Improving MLP-Mixer with Multi Order Interactions in Sequential Recommendation
• Title（参考訳）: MOI-Mixer:シーケンスレコメンデーションにおけるMLP-Mixerの改良
• Authors: Hojoon Lee, Dongyoon Hwang, Sunghwan Hong, Changyeon Kim, Seungryong Kim, Jaegul Choo
• Abstract要約: トランスフォーマーベースのモデルは、シーケンス長に2次記憶と時間の複雑さを必要とするため、ユーザの長期的関心を抽出することは困難である。 線形メモリと時間複雑性で有名なMLPベースのモデルは、最近、様々なタスクにおいてTransformerと比較して競合する結果を示した。 本稿では,レイヤのメモリと時間の複雑さを維持しながら,任意の順序のインタラクションを表現できる多階インタラクション層を提案する。
• 参考スコア（独自算出の注目度）: 40.20599070308035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Successful sequential recommendation systems rely on accurately capturing the user's short-term and long-term interest. Although Transformer-based models achieved state-of-the-art performance in the sequential recommendation task, they generally require quadratic memory and time complexity to the sequence length, making it difficult to extract the long-term interest of users. On the other hand, Multi-Layer Perceptrons (MLP)-based models, renowned for their linear memory and time complexity, have recently shown competitive results compared to Transformer in various tasks. Given the availability of a massive amount of the user's behavior history, the linear memory and time complexity of MLP-based models make them a promising alternative to explore in the sequential recommendation task. To this end, we adopted MLP-based models in sequential recommendation but consistently observed that MLP-based methods obtain lower performance than those of Transformer despite their computational benefits. From experiments, we observed that introducing explicit high-order interactions to MLP layers mitigates such performance gap. In response, we propose the Multi-Order Interaction (MOI) layer, which is capable of expressing an arbitrary order of interactions within the inputs while maintaining the memory and time complexity of the MLP layer. By replacing the MLP layer with the MOI layer, our model was able to achieve comparable performance with Transformer-based models while retaining the MLP-based models' computational benefits.
• Abstract（参考訳）: シーケンシャルなレコメンデーションシステムは、ユーザの短期的および長期的関心を正確に捉えることに依存している。 Transformerベースのモデルはシーケンシャルレコメンデーションタスクで最先端のパフォーマンスを達成したが、一般に2次記憶と時間的複雑さが要求されるため、ユーザの長期的関心を抽出することは困難である。 一方、線形メモリと時間複雑性で有名なMLPベースのモデルでは、様々なタスクにおいてTransformerと比較して競合する結果が示されている。 大量のユーザの行動履歴が利用可能であることを考えると、MLPベースのモデルの線形メモリと時間の複雑さは、シーケンシャルなレコメンデーションタスクで探索する上で有望な代替手段となる。 この目的のために, 逐次レコメンデーションでMLPベースのモデルを採用したが, 計算上の利点にもかかわらず, MLPベースの手法がTransformerよりも低い性能が得られることを一貫して観察した。 実験の結果,MLP層に高次相互作用を導入することで,このような性能ギャップが軽減されることがわかった。 そこで本研究では,MLP層のメモリと時間的複雑さを維持しつつ,入力内の相互作用の任意の順序を表現できるマルチオーダーインタラクション(MOI)層を提案する。 mlp層をmoi層に置き換えることで、mlpベースのモデルの計算上の利点を保ちながら、トランスフォーマーベースのモデルと同等の性能を達成できた。

関連論文リスト

• Adaptive Multi-Scale Decomposition Framework for Time Series Forecasting [26.141054975797868]
  時系列予測(TSF)のための新しい適応型マルチスケール分解(AMD)フレームワークを提案する。 我々のフレームワークは時系列を複数のスケールで異なる時間パターンに分解し、MDM(Multi-Scale Decomposable Mixing)ブロックを活用する。 提案手法は,時間依存性とチャネル依存性の両方を効果的にモデル化し,マルチスケールデータ統合を改良するために自己相関を利用する。
  論文  参考訳（メタデータ） (2024-06-06T05:27:33Z)
• BMLP: Behavior-aware MLP for Heterogeneous Sequential Recommendation [16.6816199104481]
  行動認識型多層パーセプトロン(BMLP)を用いた新しい多層パーセプトロン(MLP)シーケンシャルレコメンデーション法を提案する。 BMLPは、4つの公開データセットの最先端アルゴリズムよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-02-20T05:57:01Z)
• Attentive Multi-Layer Perceptron for Non-autoregressive Generation [46.14195464583495]
  非自己回帰(NAR)生成は、その効率性と有効性の増加で人気が高まる。 本稿では,線形時間と空間の複雑さを持つ生成モデルを生成するために,新しい変種textbfAttentive textbfMulti-textbfLayer textbfPerceptron(AMLP)を提案する。
  論文  参考訳（メタデータ） (2023-10-14T06:44:24Z)
• Tuning Pre-trained Model via Moment Probing [62.445281364055795]
  本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。 MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。 当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
  論文  参考訳（メタデータ） (2023-07-21T04:15:02Z)
• AutoMLP: Automated MLP for Sequential Recommendations [20.73096302505791]
  時系列リコメンデータシステムは,過去のインタラクションからユーザの次の関心項目を予測することを目的としている。 既存のアプローチは通常、徹底的な探索や経験的な経験によって、事前定義された短期的関心期間を設定する。 本稿では,ユーザの長期的・短期的関心をモデル化することを目的とした,新しいシーケンシャルレコメンデーションシステムAutoMLPを提案する。
  論文  参考訳（メタデータ） (2023-03-11T07:50:49Z)
• Efficient Language Modeling with Sparse all-MLP [53.81435968051093]
  すべてのMLPは、言語モデリングにおいてTransformerと一致するが、下流タスクではまだ遅れている。 特徴量と入力量の両方でMoE(Mix-of-Experts)を混合したスパースオールMLPを提案する。 6つの下流タスクにおいて、ゼロショットのインコンテキスト学習性能を評価し、トランスフォーマーベースのMoEや高密度トランスフォーマーを上回る結果を得た。
  論文  参考訳（メタデータ） (2022-03-14T04:32:19Z)
• Bayesian Inference in High-Dimensional Time-Serieswith the Orthogonal Stochastic Linear Mixing Model [2.7909426811685893]
  現代の時系列データセットの多くは、長期間にわたってサンプリングされた大量の出力応答変数を含んでいる。 本稿では,多種多様な大規模時系列データセット解析のための新しいマルコフ連鎖モンテカルロフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-25T01:12:54Z)
• Learning representations with end-to-end models for improved remaining useful life prognostics [64.80885001058572]
  残りの設備の実用寿命(RUL)は、現在の時刻と故障までの期間として定義される。 マルチ層パーセプトロンと長期メモリ層(LSTM)に基づくエンドツーエンドのディープラーニングモデルを提案し、RULを予測する。 提案するエンド・ツー・エンドのモデルがこのような優れた結果を達成し、他のディープラーニングや最先端の手法と比較する方法について論じる。
  論文  参考訳（メタデータ） (2021-04-11T16:45:18Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。