論文の概要: Real-Time Personalization with Simple Transformers

• arxiv url: http://arxiv.org/abs/2503.00608v1
• Date: Sat, 01 Mar 2025 20:29:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:14:25.671068
• Title: Real-Time Personalization with Simple Transformers
• Title（参考訳）: 簡易変換器を用いたリアルタイムパーソナライズ
• Authors: Lin An, Andrew A. Li, Vaisnavi Nemala, Gabriel Visotsky,
• Abstract要約: 単純な変換器は複雑なユーザの好みを捉えることができる。 そこで我々は,単純な変換器に基づく推薦タスクを高速に最適化するアルゴリズムを開発した。 本アルゴリズムは, 準線形時間における準最適性能を実現する。
• 参考スコア（独自算出の注目度）: 5.974778743092437
• License:
• Abstract: Real-time personalization has advanced significantly in recent years, with platforms utilizing machine learning models to predict user preferences based on rich behavioral data on each individual user. Traditional approaches usually rely on embedding-based machine learning models to capture user preferences, and then reduce the final optimization task to nearest-neighbors, which can be performed extremely fast. However, these models struggle to capture complex user behaviors, which are essential for making accurate recommendations. Transformer-based models, on the other hand, are known for their practical ability to model sequential behaviors, and hence have been intensively used in personalization recently to overcome these limitations. However, optimizing recommendations under transformer-based models is challenging due to their complicated architectures. In this paper, we address this challenge by considering a specific class of transformers, showing its ability to represent complex user preferences, and developing efficient algorithms for real-time personalization. We focus on a particular set of transformers, called simple transformers, which contain a single self-attention layer. We show that simple transformers are capable of capturing complex user preferences. We then develop an algorithm that enables fast optimization of recommendation tasks based on simple transformers. Our algorithm achieves near-optimal performance in sub-linear time. Finally, we demonstrate the effectiveness of our approach through an empirical study on datasets from Spotify and Trivago. Our experiment results show that (1) simple transformers can model/predict user preferences substantially more accurately than non-transformer models and nearly as accurately as more complex transformers, and (2) our algorithm completes simple-transformer-based recommendation tasks quickly and effectively.
• Abstract（参考訳）: リアルタイムパーソナライゼーションは近年大きく進歩しており、マシンラーニングモデルを使用して、個々のユーザのリッチな行動データに基づいて、ユーザの好みを予測するプラットフォームが登場している。 従来のアプローチでは、通常は埋め込みベースの機械学習モデルを使用してユーザの好みをキャプチャし、最終的な最適化タスクを最も近い隣人に還元する。 しかし、これらのモデルは、正確なレコメンデーションを作るのに欠かせない複雑なユーザーの振る舞いを捉えるのに苦労している。 一方、トランスフォーマーベースのモデルは、シーケンシャルな振る舞いをモデル化する実用的な能力で知られており、近年、これらの制限を克服するためにパーソナライズで集中的に使われている。 しかし、トランスフォーマーベースのモデルでレコメンデーションを最適化することは、複雑なアーキテクチャのために困難である。 本稿では、この課題に対処するため、特定の変換器のクラスを検討し、複雑なユーザの好みを表現する能力を示し、リアルタイムのパーソナライズのための効率的なアルゴリズムを開発する。 我々は、単一の自己認識層を含む、単純な変換器と呼ばれる、特定の変換器のセットに焦点を当てる。 単純な変換器は複雑なユーザの好みを捉えることができる。 そこで我々は,単純な変換器に基づく推薦タスクを高速に最適化するアルゴリズムを開発した。 本アルゴリズムは, 準線形時間における準最適性能を実現する。 最後に、SpotifyとTrivagoのデータセットに関する実証的研究を通して、我々のアプローチの有効性を実証する。 実験の結果,1) 単純変圧器は非変圧器モデルとほぼ同等の精度でユーザの好みをモデル化・予測し,(2) 単純変圧器ベースの推薦タスクを迅速かつ効果的に完了することがわかった。

関連論文リスト

• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Linear attention is (maybe) all you need (to understand transformer optimization) [55.81555204646486]
  我々は、単純だが正準化された浅部変圧器モデルの研究により、変圧器の微妙さの理解に向けて前進する。 最も重要なことは、線形化モデルがトランスフォーマーのトレーニング力学のいくつかの顕著な側面を再現できることである。
  論文  参考訳（メタデータ） (2023-10-02T10:48:42Z)
• ConvFormer: Revisiting Transformer for Sequential User Modeling [23.650635274170828]
  我々は、最先端の性能向上を目的としたトランスフォーマーのようなアーキテクチャを再検討する。 効率的なシーケンシャルなユーザモデルを考案するための重要な基準を3つ挙げる。 ConvFormerは、これらの基準を満たす、シンプルだが強力なTransformerアーキテクチャの変更である。
  論文  参考訳（メタデータ） (2023-08-05T17:33:17Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Preference Transformer: Modeling Human Preferences using Transformers for RL [165.33887165572128]
  Preference Transformerは、トランスフォーマーを使用して人間の好みをモデル化するニューラルネットワークである。 そこで,Preference Transformerは,従来のアプローチでは動作しないが,実際の人間の好みを使って様々な制御タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-03-02T04:24:29Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• The Cascade Transformer: an Application for Efficient Answer Sentence Selection [116.09532365093659]
  本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。 現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
  論文  参考訳（メタデータ） (2020-05-05T23:32:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。