論文の概要: PDT: Pretrained Dual Transformers for Time-aware Bipartite Graphs

• arxiv url: http://arxiv.org/abs/2306.01913v1
• Date: Fri, 2 Jun 2023 20:38:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 23:10:50.718431
• Title: PDT: Pretrained Dual Transformers for Time-aware Bipartite Graphs
• Title（参考訳）: PDT: タイムアウェアなバイパルタイトグラフのための事前訓練されたデュアルトランス
• Authors: Xin Dai, Yujie Fan, Zhongfang Zhuang, Shubham Jain, Chin-Chia Michael Yeh, Junpeng Wang, Liang Wang, Yan Zheng, Wei Zhang
• Abstract要約: 本稿では,ユーザ側空間とコンテンツ側空間の双方向マッピングを学習する事前学習手法を提案する。 提案手法を推薦課題として評価する。
• 参考スコア（独自算出の注目度）: 22.886738565790996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-training on large models is prevalent and emerging with the ever-growing user-generated content in many machine learning application categories. It has been recognized that learning contextual knowledge from the datasets depicting user-content interaction plays a vital role in downstream tasks. Despite several studies attempting to learn contextual knowledge via pre-training methods, finding an optimal training objective and strategy for this type of task remains a challenging problem. In this work, we contend that there are two distinct aspects of contextual knowledge, namely the user-side and the content-side, for datasets where user-content interaction can be represented as a bipartite graph. To learn contextual knowledge, we propose a pre-training method that learns a bi-directional mapping between the spaces of the user-side and the content-side. We formulate the training goal as a contrastive learning task and propose a dual-Transformer architecture to encode the contextual knowledge. We evaluate the proposed method for the recommendation task. The empirical studies have demonstrated that the proposed method outperformed all the baselines with significant gains.
• Abstract（参考訳）: 大規模モデルの事前トレーニングは広く普及しており、多くの機械学習アプリケーションカテゴリでユーザー生成コンテンツが増え続けている。 ユーザとコンテンツの相互作用を記述するデータセットから文脈知識を学ぶことは、下流タスクにおいて重要な役割を果たすことが認識されている。 事前学習手法を用いて文脈知識を学習しようとするいくつかの研究にもかかわらず、このようなタスクのための最適な訓練目標と戦略を見つけることは難しい問題である。 本研究では,ユーザとコンテンツの相互作用を2部グラフとして表現できるデータセットに対して,文脈知識には2つの異なる側面,すなわちユーザ側とコンテンツ側があると主張する。 文脈知識を学習するために,ユーザ側とコンテンツ側の空間間の双方向マッピングを学習する事前学習手法を提案する。 学習目標をコントラスト学習タスクとして定式化し、文脈知識を符号化するデュアルトランスフォーマーアーキテクチャを提案する。 提案手法を推薦課題として評価する。 実験の結果,提案手法がすべてのベースラインを上回り,有意な利益を得た。

関連論文リスト

• Improving Content Recommendation: Knowledge Graph-Based Semantic Contrastive Learning for Diversity and Cold-Start Users [5.224122150536595]
  本稿では,複数タスクのハイブリッド学習手法を提案する。 我々のアプローチは、テキストからの意味情報を活用することにより、知識グラフ内のエンティティ間の関係をよりよく理解することを可能にする。
  論文  参考訳（メタデータ） (2024-03-27T15:11:00Z)
• Generative Multi-Modal Knowledge Retrieval with Large Language Models [75.70313858231833]
  マルチモーダル知識検索のための革新的なエンドツーエンド生成フレームワークを提案する。 我々のフレームワークは,大規模言語モデル(LLM)が仮想知識ベースとして効果的に機能するという事実を生かしている。 強いベースラインと比較すると,すべての評価指標に対して3.0%から14.6%の大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-01-16T08:44:29Z)
• Compositional Learning in Transformer-Based Human-Object Interaction Detection [6.630793383852106]
  ラベル付きインスタンスの長期分布は、HOI検出の主要な課題である。 HOI三重奏の性質にインスパイアされた既存のアプローチでは、作曲学習という概念が採用されている。 我々は,構成HoI学習のためのトランスフォーマーベースのフレームワークを創造的に提案する。
  論文  参考訳（メタデータ） (2023-08-11T06:41:20Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
  ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。 大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。 我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:56Z)
• Leveraging Visual Knowledge in Language Tasks: An Empirical Study on Intermediate Pre-training for Cross-modal Knowledge Transfer [61.34424171458634]
  視覚的知識を言語モデルに組み込むことがギャップを埋めるかどうかを検討する。 実験の結果,視覚的知識伝達は低リソース環境と完全教師付き環境の両方で性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2022-03-14T22:02:40Z)
• Cross-Task Knowledge Distillation in Multi-Task Recommendation [41.62428191434233]
  マルチタスク学習は、さまざまなタイプのユーザフィードバックを予測するために、現実世界のレコメンデータで広く利用されている。 本稿では,3つの手順からなるクロスタスク知識蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-20T16:15:19Z)
• Reasoning over Vision and Language: Exploring the Benefits of Supplemental Knowledge [59.87823082513752]
  本稿では,汎用知識基盤(KB)から視覚言語変換器への知識の注入について検討する。 我々は複数のタスクやベンチマークに対する様々なkbの関連性を実証的に研究する。 この技術はモデルに依存しず、最小限の計算オーバーヘッドで任意の視覚言語変換器の適用可能性を拡張することができる。
  論文  参考訳（メタデータ） (2021-01-15T08:37:55Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。