Fugu-MT 論文翻訳(概要): Mamba for Scalable and Efficient Personalized Recommendations

論文の概要: Mamba for Scalable and Efficient Personalized Recommendations

arxiv url: http://arxiv.org/abs/2409.17165v1
Date: Wed, 11 Sep 2024 14:26:14 GMT
ステータス: 処理完了
システム内更新日: 2024-11-06 16:50:22.124088
Title: Mamba for Scalable and Efficient Personalized Recommendations
Title（参考訳）: スケーラブルで効率的なパーソナライズドレコメンデーションのためのMamba
Authors: Andrew Starnes, Clayton Webster
Abstract要約: 本稿では,FT-Transformer アーキテクチャにおいて,Transformer 層を Mamba 層に置き換える新しいハイブリッドモデルを提案する。 FT-Mambaを従来のTransformerベースモデルと比較し,3つのデータセット上でのTwo-Towerアーキテクチャについて検討した。
参考スコア（独自算出の注目度）: 0.135975510645475
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this effort, we propose using the Mamba for handling tabular data in personalized recommendation systems. We present the \textit{FT-Mamba} (Feature Tokenizer\,$+$\,Mamba), a novel hybrid model that replaces Transformer layers with Mamba layers within the FT-Transformer architecture, for handling tabular data in personalized recommendation systems. The \textit{Mamba model} offers an efficient alternative to Transformers, reducing computational complexity from quadratic to linear by enhancing the capabilities of State Space Models (SSMs). FT-Mamba is designed to improve the scalability and efficiency of recommendation systems while maintaining performance. We evaluate FT-Mamba in comparison to a traditional Transformer-based model within a Two-Tower architecture on three datasets: Spotify music recommendation, H\&M fashion recommendation, and vaccine messaging recommendation. Each model is trained on 160,000 user-action pairs, and performance is measured using precision (P), recall (R), Mean Reciprocal Rank (MRR), and Hit Ratio (HR) at several truncation values. Our results demonstrate that FT-Mamba outperforms the Transformer-based model in terms of computational efficiency while maintaining or exceeding performance across key recommendation metrics. By leveraging Mamba layers, FT-Mamba provides a scalable and effective solution for large-scale personalized recommendation systems, showcasing the potential of the Mamba architecture to enhance both efficiency and accuracy.
Abstract（参考訳）: 本研究では,パーソナライズされたレコメンデーションシステムにおける表データ処理のためのMambaを提案する。本稿では,FT-Transformer アーキテクチャ内の Mamba 層に変換器層を置き換えた新しいハイブリッドモデルである \textit{FT-Mamba} (Feature Tokenizer\,$+$\,Mamba) を提案する。 textit{Mamba model} はトランスフォーマーの効率的な代替手段を提供し、状態空間モデル(SSM)の能力を増強することで計算複雑性を2次から線形に低減する。 FT-Mambaは、性能を維持しながらレコメンデーションシステムのスケーラビリティと効率を向上させるように設計されている。 FT-Mambaを,Spotifyの音楽推薦,H&Mファッションレコメンデーション,ワクチンメッセージングレコメンデーションの3つのデータセット上で,従来のTransformerベースのモデルと比較した。各モデルは16万のユーザアクションペアでトレーニングされ、精度(P)、リコール(R)、平均相反ランク(MRR)、ヒット比(HR)をいくつかのトラルニケーション値で測定する。この結果から,FT-Mamba は Transformer ベースモデルよりも計算効率が優れ,主要な推奨指標をまたいだ性能を維持したり超えたりしていることがわかった。 Mambaレイヤを活用することで、FT-Mambaは大規模パーソナライズされたレコメンデーションシステムに対してスケーラブルで効果的なソリューションを提供する。

関連論文リスト

MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。効率と性能のバランスをとるMobileMambaフレームワークを提案する。 MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
論文参考訳（メタデータ） (2024-11-24T18:01:05Z)
Bi-Mamba: Towards Accurate 1-Bit State Space Models [28.478762133816726]
Bi-Mambaは、より効率的な大規模言語モデルのために設計されたスケーラブルでパワフルな1ビットのMambaアーキテクチャである。 Bi-Mambaは完全な精度(FP16やBF16など)に匹敵するパフォーマンスを実現し、ポストトレーニングバイナリ化(PTB)のMambaベースラインよりもはるかに精度が高い。
論文参考訳（メタデータ） (2024-11-18T18:59:15Z)
MambaPEFT: Exploring Parameter-Efficient Fine-Tuning for Mamba [0.5530212768657544]
ステートスペースモデル(SSM)ベースのモデルであるMambaは、トランスフォーマーの代替として注目されている。 Mambaに適用した場合のトランスフォーマーに対する既存のPEFT法の有効性について検討する。本研究では,マンバの固有構造を利用した新しいPEFT法を提案する。
論文参考訳（メタデータ） (2024-11-06T11:57:55Z)
SepMamba: State-space models for speaker separation using Mamba [2.840381306234341]
本稿では,主に双方向のMamba層で構成されたU-NetベースのアーキテクチャであるSepMambaを提案する。このアプローチは、WSJ0 2-Speakerデータセットにおいて、同様の大きさの顕著なモデルよりも優れています。
論文参考訳（メタデータ） (2024-10-28T13:20:53Z)
ReMamba: Equip Mamba with Effective Long-Sequence Modeling [50.530839868893786]
本研究では,長い文脈の理解能力を高めるReMambaを提案する。 ReMambaは2段階のプロセスで選択的圧縮と適応のテクニックを取り入れている。
論文参考訳（メタデータ） (2024-08-28T02:47:27Z)
Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文参考訳（メタデータ） (2024-08-21T09:12:59Z)
Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models [92.36510016591782]
本稿では,事前学習したトランスフォーマーアーキテクチャを,状態空間モデル(SSM)などの代替アーキテクチャに蒸留する手法を提案する。提案手法はMOHAWKと呼ばれ、3Bトークンと5Bトークンを用いたハイブリッドバージョン(Hybrid Phi-Mamba)を用いてPhi-1.5アーキテクチャに基づくMamba-2変異体を蒸留することができる。 Phi-Mambaは、スクラッチからモデルのトレーニングに使用されるトレーニングデータの1%未満を使用してはいるが、過去のオープンソース非トランスフォーマーモデルと比較して、大幅にパフォーマンスが向上している。
論文参考訳（メタデータ） (2024-08-19T17:48:11Z)
MambaVision: A Hybrid Mamba-Transformer Vision Backbone [54.965143338206644]
本稿では,視覚応用に適した新しいハイブリッド型Mamba-TransformerバックボーンであるMambaVisionを提案する。私たちのコアコントリビューションには、視覚的特徴の効率的なモデリング能力を高めるために、Mambaの定式化を再設計することが含まれています。視覚変換器(ViT)とマンバの統合可能性に関する包括的アブレーション研究を行う。
論文参考訳（メタデータ） (2024-07-10T23:02:45Z)
An Empirical Study of Mamba-based Language Models [69.74383762508805]
Mambaのような選択的な状態空間モデル(SSM)はトランスフォーマーの欠点を克服する。同じデータセット上で訓練された8B-context Mamba, Mamba-2, Transformer モデルを直接比較する。 8BのMamba-2-Hybridは、12の標準タスクで8BのTransformerを上回っている。
論文参考訳（メタデータ） (2024-06-12T05:25:15Z)
Mamba State-Space Models Are Lyapunov-Stable Learners [1.6385815610837167]
Mamba State-space Model (SSM) は、最近様々なタスクでTransformer Large Language Model (LLM) より優れていることが示されている。我々は,Mambaのリカレントダイナミクスが小さな入力変化に対して堅牢であることを示す。また、命令チューニングにより、Mambaモデルはこのギャップを81%に、Mamba-2モデルはこのギャップを132%に制限できることを示す。
論文参考訳（メタデータ） (2024-05-31T21:46:23Z)
Is Mamba Effective for Time Series Forecasting? [30.85990093479062]
時系列予測のための,S-Mamba(S-Mamba)というマンバモデルを提案する。具体的には,各変数の時間点を線形層を介して自律的にトークン化する。 13の公開データセットの実験では、S-Mambaは計算オーバーヘッドを低く保ち、主要な性能を達成している。
論文参考訳（メタデータ） (2024-03-17T08:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。