論文の概要: Mamba for Scalable and Efficient Personalized Recommendations
- arxiv url: http://arxiv.org/abs/2409.17165v1
- Date: Wed, 11 Sep 2024 14:26:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-27 18:33:53.708313
- Title: Mamba for Scalable and Efficient Personalized Recommendations
- Title(参考訳): スケーラブルで効率的なパーソナライズドレコメンデーションのためのMamba
- Authors: Andrew Starnes, Clayton Webster
- Abstract要約: 本稿では,FT-Transformer アーキテクチャにおいて,Transformer 層を Mamba 層に置き換える新しいハイブリッドモデルを提案する。
FT-Mambaを従来のTransformerベースモデルと比較し,3つのデータセット上でのTwo-Towerアーキテクチャについて検討した。
- 参考スコア(独自算出の注目度): 0.135975510645475
- License:
- Abstract: In this effort, we propose using the Mamba for handling tabular data in
personalized recommendation systems. We present the \textit{FT-Mamba} (Feature
Tokenizer\,$+$\,Mamba), a novel hybrid model that replaces Transformer layers
with Mamba layers within the FT-Transformer architecture, for handling tabular
data in personalized recommendation systems. The \textit{Mamba model} offers an
efficient alternative to Transformers, reducing computational complexity from
quadratic to linear by enhancing the capabilities of State Space Models (SSMs).
FT-Mamba is designed to improve the scalability and efficiency of
recommendation systems while maintaining performance. We evaluate FT-Mamba in
comparison to a traditional Transformer-based model within a Two-Tower
architecture on three datasets: Spotify music recommendation, H\&M fashion
recommendation, and vaccine messaging recommendation. Each model is trained on
160,000 user-action pairs, and performance is measured using precision (P),
recall (R), Mean Reciprocal Rank (MRR), and Hit Ratio (HR) at several
truncation values. Our results demonstrate that FT-Mamba outperforms the
Transformer-based model in terms of computational efficiency while maintaining
or exceeding performance across key recommendation metrics. By leveraging Mamba
layers, FT-Mamba provides a scalable and effective solution for large-scale
personalized recommendation systems, showcasing the potential of the Mamba
architecture to enhance both efficiency and accuracy.
- Abstract(参考訳): 本研究では,パーソナライズされたレコメンデーションシステムにおける表データ処理のためのMambaを提案する。
本稿では,FT-Transformer アーキテクチャ内の Mamba 層に変換器層を置き換えた新しいハイブリッドモデルである \textit{FT-Mamba} (Feature Tokenizer\,$+$\,Mamba) を提案する。
textit{Mamba model} はトランスフォーマーの効率的な代替手段を提供し、状態空間モデル(SSM)の能力を増強することで計算複雑性を2次から線形に低減する。
FT-Mambaは、性能を維持しながらレコメンデーションシステムのスケーラビリティと効率を向上させるように設計されている。
FT-Mambaを,Spotifyの音楽推薦,H&Mファッションレコメンデーション,ワクチンメッセージングレコメンデーションの3つのデータセット上で,従来のTransformerベースのモデルと比較した。
各モデルは16万のユーザアクションペアでトレーニングされ、精度(P)、リコール(R)、平均相反ランク(MRR)、ヒット比(HR)をいくつかのトラルニケーション値で測定する。
この結果から,FT-Mamba は Transformer ベースモデルよりも計算効率が優れ,主要な推奨指標をまたいだ性能を維持したり超えたりしていることがわかった。
Mambaレイヤを活用することで、FT-Mambaは大規模パーソナライズされたレコメンデーションシステムに対してスケーラブルで効果的なソリューションを提供する。
関連論文リスト
- MambaVision: A Hybrid Mamba-Transformer Vision Backbone [54.965143338206644]
本稿では,視覚応用に適した新しいハイブリッド型Mamba-TransformerバックボーンであるMambaVisionを提案する。
私たちのコアコントリビューションには、視覚的特徴の効率的なモデリング能力を高めるために、Mambaの定式化を再設計することが含まれています。
視覚変換器(ViT)とマンバの統合可能性に関する包括的アブレーション研究を行う。
論文 参考訳(メタデータ) (2024-07-10T23:02:45Z) - MaIL: Improving Imitation Learning with Mamba [30.96458274130313]
Mamba Imitation Learning (MaIL)は、最先端(SoTA)トランスフォーマーポリシーに代わる計算効率の良い代替手段を提供する、新しい模倣学習アーキテクチャである。
Mambaは、Transformersに対するSSMやライバルのパフォーマンスを大幅に改善し、ILポリシーの魅力的な代替品として位置づけている。
論文 参考訳(メタデータ) (2024-06-12T14:01:12Z) - An Empirical Study of Mamba-based Language Models [69.74383762508805]
Mambaのような選択的な状態空間モデル(SSM)はトランスフォーマーの欠点を克服する。
同じデータセット上で訓練された8B-context Mamba, Mamba-2, Transformer モデルを直接比較する。
8BのMamba-2-Hybridは、12の標準タスクで8BのTransformerを上回っている。
論文 参考訳(メタデータ) (2024-06-12T05:25:15Z) - Mamba State-Space Models Can Be Strong Downstream Learners [1.6385815610837167]
マンバ状態空間モデル(SSM)は、最近様々なタスクにおいて最先端(SLLM)を上回っている。
混合精度(MPFT)と微細チューニング(PEFT)は低評価である。
我々は,MPFTとPEFTを組み合わせることで,最大で毎秒215倍,メモリあたり65.5%のトークンを削減できることを示した。
論文 参考訳(メタデータ) (2024-05-31T21:46:23Z) - Demystify Mamba in Vision: A Linear Attention Perspective [72.93213667713493]
Mambaは線形計算複雑性を持つ効率的な状態空間モデルである。
我々は,Mambaが線形アテンショントランスフォーマーと驚くほど類似していることを示す。
本稿では,これら2つの鍵設計の利点を線形注意に取り入れた,マンバ様線形注意(MLLA)モデルを提案する。
論文 参考訳(メタデータ) (2024-05-26T15:31:09Z) - Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting [5.166854384000439]
長期時系列予測(LTSF)は、将来のトレンドとパターンに関するより長い洞察を提供する。
近年,Mamba という新しい状態空間モデル (SSM) が提案されている。
入力データに対する選択的機能とハードウェア対応並列計算アルゴリズムにより、Mambaは予測性能と計算効率のバランスをとる大きな可能性を示した。
論文 参考訳(メタデータ) (2024-04-24T09:45:48Z) - SPMamba: State-space model is all you need in speech separation [20.168153319805665]
CNNベースの音声分離モデルは、局所的な受容的場制限に直面し、長期間の依存関係を効果的にキャプチャできない。
本稿では,SPMambaという音声分離手法を提案する。
このモデルは、TF-GridNetアーキテクチャに基づいており、従来のBLSTMモジュールを双方向のMambaモジュールに置き換えている。
論文 参考訳(メタデータ) (2024-04-02T16:04:31Z) - Is Mamba Effective for Time Series Forecasting? [30.85990093479062]
時系列予測のための,S-Mamba(S-Mamba)というマンバモデルを提案する。
具体的には,各変数の時間点を線形層を介して自律的にトークン化する。
13の公開データセットの実験では、S-Mambaは計算オーバーヘッドを低く保ち、主要な性能を達成している。
論文 参考訳(メタデータ) (2024-03-17T08:50:44Z) - MiM-ISTD: Mamba-in-Mamba for Efficient Infrared Small Target Detection [72.46396769642787]
ネスト構造であるMamba-in-Mamba(MiM-ISTD)を開発した。
MiM-ISTDはSOTA法より8倍高速で、2048×2048$のイメージでテストすると、GPUメモリ使用率を62.2$%削減する。
論文 参考訳(メタデータ) (2024-03-04T15:57:29Z) - Is Mamba Capable of In-Context Learning? [63.682741783013306]
GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する
この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
論文 参考訳(メタデータ) (2024-02-05T16:39:12Z) - MambaByte: Token-free Selective State Space Model [71.90159903595514]
マンババイト(英: MambaByte)は、マンバSSMがバイト配列で自己回帰的に訓練したトークンレス適応である。
MambaByteは、言語モデリングタスクにおいて、最先端のサブワードトランスフォーマーよりも優れています。
論文 参考訳(メタデータ) (2024-01-24T18:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。