論文の概要: ConvFormer: Revisiting Transformer for Sequential User Modeling
- arxiv url: http://arxiv.org/abs/2308.02925v1
- Date: Sat, 5 Aug 2023 17:33:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 17:49:49.256016
- Title: ConvFormer: Revisiting Transformer for Sequential User Modeling
- Title（参考訳）: convformer:シーケンシャルユーザモデリングのための再検討トランスフォーマ
- Authors: Hao Wang, Jianxun Lian, Mingqi Wu, Haoxuan Li, Jiajun Fan, Wanyue Xu,
Chaozhuo Li, Xing Xie
- Abstract要約: 我々は、最先端の性能向上を目的としたトランスフォーマーのようなアーキテクチャを再検討する。
効率的なシーケンシャルなユーザモデルを考案するための重要な基準を3つ挙げる。
ConvFormerは、これらの基準を満たす、シンプルだが強力なTransformerアーキテクチャの変更である。
- 参考スコア（独自算出の注目度）: 23.650635274170828
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequential user modeling, a critical task in personalized recommender
systems, focuses on predicting the next item a user would prefer, requiring a
deep understanding of user behavior sequences. Despite the remarkable success
of Transformer-based models across various domains, their full potential in
comprehending user behavior remains untapped. In this paper, we re-examine
Transformer-like architectures aiming to advance state-of-the-art performance.
We start by revisiting the core building blocks of Transformer-based methods,
analyzing the effectiveness of the item-to-item mechanism within the context of
sequential user modeling. After conducting a thorough experimental analysis, we
identify three essential criteria for devising efficient sequential user
models, which we hope will serve as practical guidelines to inspire and shape
future designs. Following this, we introduce ConvFormer, a simple but powerful
modification to the Transformer architecture that meets these criteria,
yielding state-of-the-art results. Additionally, we present an acceleration
technique to minimize the complexity associated with processing extremely long
sequences. Experiments on four public datasets showcase ConvFormer's
superiority and confirm the validity of our proposed criteria.
- Abstract（参考訳）: パーソナライズされたレコメンデーションシステムにおいて重要なタスクであるシーケンシャルなユーザモデリングは、ユーザが好む次の項目を予測することに焦点を当て、ユーザの行動シーケンスを深く理解する必要がある。
様々なドメインにわたるトランスフォーマーベースのモデルが著しく成功したにもかかわらず、ユーザ動作の理解におけるその潜在能力は未解決のままである。
本稿では,最先端性能向上を目的とした変圧器ライクなアーキテクチャを再検討する。
まず、Transformerベースのメソッドのコアビルディングブロックを再検討し、シーケンシャルなユーザモデリングのコンテキスト内でアイテム・ツー・イテム・メカニズムの有効性を分析する。
徹底的な実験分析を行い、効率的なシーケンシャルなユーザーモデルを考案するための3つの重要な基準を特定し、将来のデザインをインスピレーションし形作るための実践的ガイドラインとして機能することを期待する。
次に,これらの基準を満たした,シンプルかつ強力なトランスフォーマアーキテクチャ修正であるconvformerを導入する。
さらに,超長いシーケンスの処理に伴う複雑性を最小化する高速化手法を提案する。
4つの公開データセットの実験では、ConvFormerの優位性を示し、提案した基準の有効性を確認する。
関連論文リスト
- Practical token pruning for foundation models in few-shot conversational virtual assistant systems [6.986560111427867]
コントラスト学習目標を持つ変圧器に基づく文埋め込みモデルを事前学習し、学習意図分類モデルの特徴としてモデルの埋め込みを利用する。
提案手法は,数ショットのシナリオに対して最先端の結果を達成し,一般的な意図分類ベンチマークにおいて,他の商用ソリューションよりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2024-08-21T17:42:17Z) - Large Sequence Models for Sequential Decision-Making: A Survey [33.35835438923926]
トランスフォーマーはRLコミュニティへの関心が高まり、顕著な有効性と一般化性を持った多くのアプローチを生み出した。
本稿では, シーケンシャル意思決定における大規模シーケンスモデルの有効性向上を目的とした, 今後の研究に向けて, 様々な方法を提案する。
論文 参考訳（メタデータ） (2023-06-24T12:06:26Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳（メタデータ） (2023-05-26T00:43:02Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳（メタデータ） (2023-02-27T18:18:13Z) - Federated Privacy-preserving Collaborative Filtering for On-Device Next
App Prediction [52.16923290335873]
本稿では,モバイルデバイス使用時の次のアプリの起動を予測するための新しいSeqMFモデルを提案する。
古典行列分解モデルの構造を修正し、学習手順を逐次学習に更新する。
提案手法のもうひとつの要素は,ユーザからリモートサーバへの送信データの保護を保証する,新たなプライバシメカニズムである。
論文 参考訳（メタデータ） (2023-02-05T10:29:57Z) - Exploring and Evaluating Personalized Models for Code Generation [9.25440316608194]
パーソナライズのための変換器モデルの微調整を評価する。
i) すべてのモデルパラメータをチューニングできるカスタム微調整。
コード生成のためのこれらの微調整戦略を比較し、様々なデプロイメントシナリオにおいて、それぞれの潜在的な一般化とコスト効果について議論する。
論文 参考訳（メタデータ） (2022-08-29T23:28:46Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Topic-Controllable Summarization: Topic-Aware Evaluation and Transformer Methods [4.211128681972148]
Topic-controllable summarization(トピック制御可能な要約)は、幅広い潜在的応用を持つ新興の研究分野である。
本研究は,生成した要約を自動的に評価する話題指向評価尺度を提案する。
さらに,強力なトランスフォーマーアーキテクチャを扱うためにトピック埋め込みを適用し,制御トークンによる要約生成を導くための,新しい,効率的なアプローチを提案する。
論文 参考訳（メタデータ） (2022-06-09T07:28:16Z) - On the Limits of Evaluating Embodied Agent Model Generalization Using
Validation Sets [101.28658250723804]
本稿では,より広い視野を効果的に活用し,次のステップでナビゲーションや操作を行うかを選択するモジュールによるトランスフォーマーモデルの拡張実験を行う。
提案したモジュールは改良され,実際に,一般的なベンチマークデータセットであるALFREDの未確認検証セット上での最先端のパフォーマンスが向上した。
この結果は、機械学習タスクではより広い現象かもしれないが、主にテストスプリットの評価を制限するベンチマークでのみ顕著である、と我々は考えているので強調する。
論文 参考訳（メタデータ） (2022-05-18T23:52:21Z) - Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。
同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文 参考訳（メタデータ） (2021-04-26T13:13:03Z) - Improving Transformer-Kernel Ranking Model Using Conformer and Query
Term Independence [29.442579683405913]
Transformer-Kernel(TK)モデルは、TREC Deep Learningベンチマークで強力なリランクパフォーマンスを示しています。
TKLと呼ばれるTKモデルの変種が開発され、より長い入力シーケンスを効率的に処理するためにローカルの自己意識が組み込まれている。
本稿では,より長い入力列にtkをスケールするための代替手法として,新しい適合層を提案する。
論文 参考訳（メタデータ） (2021-04-19T15:32:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。