論文の概要: EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention

• arxiv url: http://arxiv.org/abs/2403.17729v2
• Date: Thu, 4 Apr 2024 14:29:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 19:14:11.980126
• Title: EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention
• Title（参考訳）: EulerFormer: 複雑なベクトル注意による逐次ユーザ行動モデリング
• Authors: Zhen Tian, Wayne Xin Zhao, Changwang Zhang, Xin Zhao, Zhongrui Ma, Ji-Rong Wen,
• Abstract要約: 複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。 意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。 意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
• 参考スコア（独自算出の注目度）: 88.45459681677369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To capture user preference, transformer models have been widely applied to model sequential user behavior data. The core of transformer architecture lies in the self-attention mechanism, which computes the pairwise attention scores in a sequence. Due to the permutation-equivariant nature, positional encoding is used to enhance the attention between token representations. In this setting, the pairwise attention scores can be derived by both semantic difference and positional difference. However, prior studies often model the two kinds of difference measurements in different ways, which potentially limits the expressive capacity of sequence modeling. To address this issue, this paper proposes a novel transformer variant with complex vector attention, named EulerFormer, which provides a unified theoretical framework to formulate both semantic difference and positional difference. The EulerFormer involves two key technical improvements. First, it employs a new transformation function for efficiently transforming the sequence tokens into polar-form complex vectors using Euler's formula, enabling the unified modeling of both semantic and positional information in a complex rotation form.Secondly, it develops a differential rotation mechanism, where the semantic rotation angles can be controlled by an adaptation function, enabling the adaptive integration of the semantic and positional information according to the semantic contexts.Furthermore, a phase contrastive learning task is proposed to improve the isotropy of contextual representations in EulerFormer. Our theoretical framework possesses a high degree of completeness and generality. It is more robust to semantic variations and possesses moresuperior theoretical properties in principle. Extensive experiments conducted on four public datasets demonstrate the effectiveness and efficiency of our approach.
• Abstract（参考訳）: ユーザの嗜好を捉えるために、シーケンシャルなユーザの行動データをモデル化するために、トランスフォーマーモデルが広く適用されてきた。 トランスアーキテクチャのコアは自己アテンション機構にあり、シーケンス内のペアのアテンションスコアを計算する。 置換同変性のため、トークン表現間の注意を高めるために位置符号化が用いられる。 この設定では、ペアワイズアテンションスコアは意味差と位置差の両方によって導出することができる。 しかしながら、先行研究はしばしば異なる方法で2種類の差分測定をモデル化し、シーケンスモデリングの表現能力を制限する可能性がある。 この問題に対処するために,EulerFormerという名前の複雑なベクトル注意を持つ新しい変圧器変圧器を提案し,意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。 EulerFormerには2つの重要な技術的改善が含まれている。 まず、ユーラーの公式を用いてシーケンストークンを極形複素ベクトルに効率よく変換し、複雑な回転形式における意味情報と位置情報の双方の統一的なモデリングを可能にし、また、意味的回転角を適応関数で制御できる微分回転機構を開発し、意味的文脈に応じて意味的および位置情報の適応的な統合を可能にする。 我々の理論の枠組みは、高い完全性と一般性を持っている。 意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。 4つの公開データセットで行った大規模な実験は、我々のアプローチの有効性と効率を実証している。

関連論文リスト

• Structural adaptation via directional regularity: rate accelerated estimation in multivariate functional data [0.0]
  向きの正則性は多変量関数データに対する新しい異方性の定義である。 収束速度の速さは基底の変化によって得られることを示す。 方向性正則性アプローチの2つの応用について論じる。
  論文  参考訳（メタデータ） (2024-09-01T19:09:00Z)
• EqMotion: Equivariant Multi-agent Motion Prediction with Invariant Interaction Reasoning [83.11657818251447]
  不変相互作用推論を用いた効率的な同変運動予測モデルであるEqMotionを提案する。 提案モデルに対して,粒子動力学,分子動力学,人体骨格運動予測,歩行者軌道予測の4つの異なるシナリオで実験を行った。 提案手法は4つのタスクすべてに対して最先端の予測性能を実現し,24.0/30.1/8.6/9.2%改善した。
  論文  参考訳（メタデータ） (2023-03-20T05:23:46Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Consistency Regularization for Variational Auto-Encoders [14.423556966548544]
  変分自動エンコーダ(VAE)は教師なし学習の強力なアプローチである。 本稿では,VAEの整合性を強制する正規化手法を提案する。
  論文  参考訳（メタデータ） (2021-05-31T10:26:32Z)
• Building powerful and equivariant graph neural networks with structural message-passing [74.93169425144755]
  本稿では,2つのアイデアに基づいた,強力かつ同変なメッセージパッシングフレームワークを提案する。 まず、各ノードの周囲の局所的コンテキスト行列を学習するために、特徴に加えてノードの1ホット符号化を伝搬する。 次に,メッセージのパラメトリゼーション手法を提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:15:16Z)
• Autoencoding Pixies: Amortised Variational Inference with Graph Convolutions for Functional Distributional Semantics [12.640283469603355]
  Pixie Autoencoderはグラフ畳み込みニューラルネットワークを用いて関数分散セマンティックスの生成モデルを拡張して、償却変分推論を実行する。
  論文  参考訳（メタデータ） (2020-05-06T17:46:40Z)
• The general theory of permutation equivarant neural networks and higher order graph variational encoders [6.117371161379209]
  一般置換同変層の式を導出し、各層が列と列を同時に置換することで行列に作用する場合を含む。 このケースはグラフ学習や関係学習アプリケーションで自然に発生する。 2階グラフ変分エンコーダを提案し、同変生成モデルの潜在分布は交換可能である必要があることを示す。
  論文  参考訳（メタデータ） (2020-04-08T13:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。