論文の概要: UniTRec: A Unified Text-to-Text Transformer and Joint Contrastive Learning Framework for Text-based Recommendation

• arxiv url: http://arxiv.org/abs/2305.15756v1
• Date: Thu, 25 May 2023 06:11:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 17:06:05.467985
• Title: UniTRec: A Unified Text-to-Text Transformer and Joint Contrastive Learning Framework for Text-based Recommendation
• Title（参考訳）: UniTRec: テキストベースのレコメンデーションのための統一テキスト変換と共同コントラスト学習フレームワーク
• Authors: Zhiming Mao, Huimin Wang, Yiming Du and Kam-fai Wong
• Abstract要約: 先行研究により、事前学習言語モデル(PLM)は、テキストベースのレコメンデーションの性能を高めることが示されている。 ユーザ履歴の2レベルコンテキストをモデル化するために,ローカル・グローバル・アテンション・トランスフォーマー・エンコーダの統一化を提案する。 我々のフレームワークであるUniTRecは、テキストベースの推薦を共同で強化するために、識別的マッチングスコアと候補テキストの難易度という対照的な目的を統一する。
• 参考スコア（独自算出の注目度）: 17.88375225459453
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior study has shown that pretrained language models (PLM) can boost the performance of text-based recommendation. In contrast to previous works that either use PLM to encode user history as a whole input text, or impose an additional aggregation network to fuse multi-turn history representations, we propose a unified local- and global-attention Transformer encoder to better model two-level contexts of user history. Moreover, conditioned on user history encoded by Transformer encoders, our framework leverages Transformer decoders to estimate the language perplexity of candidate text items, which can serve as a straightforward yet significant contrastive signal for user-item text matching. Based on this, our framework, UniTRec, unifies the contrastive objectives of discriminative matching scores and candidate text perplexity to jointly enhance text-based recommendation. Extensive evaluation shows that UniTRec delivers SOTA performance on three text-based recommendation tasks. Code is available at https://github.com/Veason-silverbullet/UniTRec.
• Abstract（参考訳）: 事前学習された言語モデル(plm)は、テキストベースのレコメンデーションのパフォーマンスを高めることができる。 PLMをユーザ履歴全体を入力テキストとしてエンコードしたり、複数ターンの履歴表現を融合するためのアグリゲーションネットワークを付加する以前の研究とは対照的に、ユーザ履歴の2レベルコンテキストをより良くモデル化するためのローカルおよびグローバルアテンショントランスフォーマーエンコーダを提案する。 さらに,トランスフォーマーエンコーダによって符号化されたユーザ履歴に基づいて,トランスフォーマーデコーダを用いて候補テキスト項目の言語難易度を推定する。 これに基づいて,本フレームワークであるUniTRecは,識別的マッチングスコアと候補テキストのパープレキシティの対照的な目的を統一し,テキストベースのレコメンデーションを共同で強化する。 UniTRecは3つのテキストベースのレコメンデーションタスクでSOTAパフォーマンスを提供する。 コードはhttps://github.com/Veason-silverbullet/UniTRecで入手できる。

関連論文リスト

• mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval [67.50604814528553]
  まず、RoPEとアンパディングで強化されたテキストエンコーダを導入し、ネイティブの8192-tokenコンテキストで事前トレーニングを行った。 そして、コントラスト学習によりハイブリッドTRMとクロスエンコーダ・リランカを構築する。
  論文  参考訳（メタデータ） (2024-07-29T03:12:28Z)
• ESTextSpotter: Towards Better Scene Text Spotting with Explicit Synergy in Transformer [88.61312640540902]
  明示的な構文に基づくテキストスポッティング変換フレームワーク(ESTextSpotter)を紹介する。 本モデルは,1つのデコーダ内におけるテキスト検出と認識のための識別的,インタラクティブな特徴をモデル化することにより,明示的な相乗効果を実現する。 実験結果から,本モデルが従来の最先端手法よりも有意に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-08-20T03:22:23Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Learning Vector-Quantized Item Representation for Transferable Sequential Recommenders [33.406897794088515]
  VQ-Recは、転送可能なシーケンシャルリコメンダのためのベクトル量子化アイテム表現を学ぶための新しいアプローチである。 半合成および混合ドメインのコード表現をハードな負として用い、拡張されたコントラスト事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-22T00:43:14Z)
• JOIST: A Joint Speech and Text Streaming Model For ASR [63.15848310748753]
  JOISTは、音声テキストのペア入力とテキストのみのアンペア入力の両方で、ストリーミング、カスケード、エンコーダエンドツーエンド(E2E)モデルを訓練するアルゴリズムである。 JOISTの最良のテキスト表現は、テキストで訓練されていないモデルと比較して、様々な検索およびレアワードテストセットのWERを4-14%改善することがわかった。
  論文  参考訳（メタデータ） (2022-10-13T20:59:22Z)
• M-Adapter: Modality Adaptation for End-to-End Speech-to-Text Translation [66.92823764664206]
  テキストに音声表現を適応させる新しいトランスフォーマーベースのモジュールであるM-Adapterを提案する。 音声シーケンスを縮小しながら、M-Adapterは音声からテキストへの翻訳に必要な機能を生成する。 実験の結果,我々のモデルは最大1BLEUで強いベースラインを達成できた。
  論文  参考訳（メタデータ） (2022-07-03T04:26:53Z)
• Text Compression-aided Transformer Encoding [77.16960983003271]
  本稿では,トランスフォーマーのエンコーディングを強化するために,明示的で暗黙的なテキスト圧縮手法を提案する。 バックボーン情報、つまり入力テキストのgistは、特に焦点を当てていません。 評価の結果,提案した明示的かつ暗黙的なテキスト圧縮手法は,強いベースラインと比較して結果を改善することがわかった。
  論文  参考訳（メタデータ） (2021-02-11T11:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。