論文の概要: GateFormer: Speeding Up News Feed Recommendation with Input Gated Transformers

• arxiv url: http://arxiv.org/abs/2201.04406v1
• Date: Wed, 12 Jan 2022 10:49:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-13 19:49:01.533372
• Title: GateFormer: Speeding Up News Feed Recommendation with Input Gated Transformers
• Title（参考訳）: gateformer: 入力ゲートトランスフォーマーでニュースフィードのレコメンデーションを高速化
• Authors: Peitian Zhang, Zheng liu
• Abstract要約: ユーザの興味を代表キーワードで完全にキャプチャできるGateFormerを提案する。 GateFormerは、既存のアクセラレーションアプローチよりも優れた、非常に印象的なパフォーマンスを実験で達成している。 また、元の入力を10倍以上圧縮しても、GateFormerはSOTAメソッドでオンパーパフォーマンスを維持することができます。
• 参考スコア（独自算出の注目度）: 3.300086793219779
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: News feed recommendation is an important web service. In recent years, pre-trained language models (PLMs) have been intensively applied to improve the recommendation quality. However, the utilization of these deep models is limited in many aspects, such as lack of explainability and being incompatible with the existing inverted index systems. Above all, the PLMs based recommenders are inefficient, as the encoding of user-side information will take huge computation costs. Although the computation can be accelerated with efficient transformers or distilled PLMs, it is still not enough to make timely recommendations for the active users, who are associated with super long news browsing histories. In this work, we tackle the efficient news recommendation problem from a distinctive perspective. Instead of relying on the entire input (i.e., the collection of news articles a user ever browsed), we argue that the user's interest can be fully captured merely with those representative keywords. Motivated by this, we propose GateFormer, where the input data is gated before feeding into transformers. The gating module is made personalized, lightweight and end-to-end learnable, such that it may perform accurate and efficient filtering of informative user input. GateFormer achieves highly impressive performances in experiments, where it notably outperforms the existing acceleration approaches in both accuracy and efficiency. We also surprisingly find that even with over 10-fold compression of the original input, GateFormer is still able to maintain on-par performances with the SOTA methods.
• Abstract（参考訳）: ニュースフィードの推薦は重要なウェブサービスである。 近年,プレトレーニング言語モデル (PLM) は,推薦品質の向上に強く応用されている。 しかし、これらの深層モデルの利用は、説明可能性の欠如や既存の逆インデックスシステムと互換性がないなど、多くの面で制限されている。 ユーザ側の情報のエンコーディングには膨大な計算コストがかかるため、PLMベースのレコメンデーションは非効率である。 効率的なトランスフォーマーや蒸留PLMで計算を高速化することはできるが、非常に長いニュース閲覧履歴に関連付けられているアクティブユーザーに対してタイムリーなレコメンデーションを行うには十分ではない。 本研究では,効率的なニュースレコメンデーション問題に対して,独特の視点から取り組む。 入力全体(つまり、ユーザがこれまで閲覧したニュース記事のコレクション)に頼るのではなく、ユーザの関心は、それらの代表キーワードだけで完全にキャプチャできる、と主張する。 そこで本研究では,トランスフォーマタに入力データを入力する前にゲートするゲートフォーマを提案する。 ゲーティングモジュールはパーソナライズされ、軽量でエンドツーエンドの学習が可能であり、情報入力の正確かつ効率的なフィルタリングを行うことができる。 gateformerは実験で非常に印象的なパフォーマンスを達成し、既存の加速度アプローチを精度と効率の両方で上回っている。 また、驚くべきことに、元の入力を10倍圧縮しても、gateformerはsomaメソッドと同等のパフォーマンスを維持することができます。

関連論文リスト

• KuaiFormer: Transformer-Based Retrieval at Kuaishou [29.287311234605625]
  大規模なコンテントレコメンデーションシステムにデプロイされたトランスフォーマーベースの検索フレームワークであるKuaiFormerを紹介する。 KuaiFormerは、従来のスコア推定タスクからトランスフォーマー駆動のNext Action Predictionパラダイムに移行することで、検索プロセスを再定義する。
  論文  参考訳（メタデータ） (2024-11-15T09:20:46Z)
• Generative Input: Towards Next-Generation Input Methods Paradigm [49.98958865125018]
  我々はGeneInputという新しい生成入力パラダイムを提案する。 すべての入力シナリオと他のインテリジェントな補助入力関数を処理するためにプロンプトを使用し、ユーザーフィードバックでモデルを最適化し、パーソナライズされた結果を提供する。 その結果,FK2C(Full-mode Key-sequence to Characters)タスクにおいて,最先端のパフォーマンスを初めて達成したことを示す。
  論文  参考訳（メタデータ） (2023-11-02T12:01:29Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• How Much Does Attention Actually Attend? Questioning the Importance of Attention in Pretrained Transformers [59.57128476584361]
  本稿では,入力依存型アテンション行列を一定値に置き換える新しい探索手法PAPAを紹介する。 入力依存の注意を払わずに、全てのモデルが競争性能を達成できることがわかった。 より弱いモデルよりも、我々の手法を適用することでより良い性能のモデルが失われることが示され、入力依存の注意機構の利用がその成功の要因である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-11-07T12:37:54Z)
• Generalized Delayed Feedback Model with Post-Click Information in Recommender Systems [37.72697954740977]
  クリック後のユーザ行動も変換率予測に有益であり,タイムラインの改善に有効であることを示す。 本稿では、クリック後の動作と初期変換の両方をクリック後の情報として統合する一般化遅延フィードバックモデル(GDFM)を提案する。
  論文  参考訳（メタデータ） (2022-06-01T11:17:01Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• Training Microsoft News Recommenders with Pretrained Language Models in the Loop [22.96193782709208]
  優れた品質のPLMニュースレコメンダーを効率的にトレーニングする新しいフレームワークであるSpeedyFeedを提案します。 speedyfeedは、繰り返しだが冗長なエンコーディング操作のほとんどを取り除く軽量エンコーディングパイプラインで強調されている。 PLMsベースのモデルは、総合的なオフライン実験において最先端のニュースレコメンデーションよりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-02-18T11:08:38Z)
• Long Document Ranking with Query-Directed Sparse Transformer [30.997237454078526]
  我々は、変換器自己アテンションにおけるIR-アキシマティック構造を誘導するクエリ指向スパースアテンションを設計する。 我々のモデルであるQDS-Transformerは、ランク付けにおいて望ましい原則特性を強制する。 1つの完全に教師されたTREC文書ランキングベンチマークと3つの数ショットのTREC文書ベンチマークの実験は、QDS-Transformerの一貫性と堅牢性を示している。
  論文  参考訳（メタデータ） (2020-10-23T21:57:56Z)
• The Cascade Transformer: an Application for Efficient Answer Sentence Selection [116.09532365093659]
  本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。 現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
  論文  参考訳（メタデータ） (2020-05-05T23:32:01Z)
• DADA: Differentiable Automatic Data Augmentation [58.560309490774976]
  コストを大幅に削減する微分可能自動データ拡張(DADA)を提案する。 CIFAR-10, CIFAR-100, SVHN, ImageNetのデータセットについて広範な実験を行った。 その結果,DADAは最先端技術よりも1桁以上高速であり,精度は極めて高いことがわかった。
  論文  参考訳（メタデータ） (2020-03-08T13:23:14Z)
• Fast Adaptively Weighted Matrix Factorization for Recommendation with Implicit Feedback [28.30678887024847]
  信頼度重み付けの割り当て方法と、大量の観測されていないデータを扱う方法は、暗黙のレコメンデーションモデルにおいて2つの重要な問題である。 可変オートエンコーダに基づく高速適応重み付き行列分解法(FAWMF)を提案する。 実世界のデータセットに対する実験は、提案したFAWMFと学習アルゴリズムfBGDの優位性を実証している。
  論文  参考訳（メタデータ） (2020-03-04T04:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。