論文の概要: Unified Pretraining for Recommendation via Task Hypergraphs

• arxiv url: http://arxiv.org/abs/2310.13286v1
• Date: Fri, 20 Oct 2023 05:33:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 00:15:20.935513
• Title: Unified Pretraining for Recommendation via Task Hypergraphs
• Title（参考訳）: タスクハイパーグラフによる推薦のための統一事前訓練
• Authors: Mingdai Yang, Zhiwei Liu, Liangwei Yang, Xiaolong Liu, Chen Wang, Hao Peng, Philip S. Yu
• Abstract要約: 本稿では,タスクハイパーグラフによる推薦のための統一事前学習という,新しいマルチタスク事前学習フレームワークを提案する。 多様なプレテキストタスクの要求やニュアンスを処理するための統一学習パターンとして,プレテキストタスクをハイパーエッジ予測に一般化するタスクハイパーグラフを設計する。 各プレテキストタスクとレコメンデーションの関連性を識別的に学習するために、新しいトランジショナルアテンション層が考案される。
• 参考スコア（独自算出の注目度）: 55.98773629788986
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Although pretraining has garnered significant attention and popularity in recent years, its application in graph-based recommender systems is relatively limited. It is challenging to exploit prior knowledge by pretraining in widely used ID-dependent datasets. On one hand, user-item interaction history in one dataset can hardly be transferred to other datasets through pretraining, where IDs are different. On the other hand, pretraining and finetuning on the same dataset leads to a high risk of overfitting. In this paper, we propose a novel multitask pretraining framework named Unified Pretraining for Recommendation via Task Hypergraphs. For a unified learning pattern to handle diverse requirements and nuances of various pretext tasks, we design task hypergraphs to generalize pretext tasks to hyperedge prediction. A novel transitional attention layer is devised to discriminatively learn the relevance between each pretext task and recommendation. Experimental results on three benchmark datasets verify the superiority of UPRTH. Additional detailed investigations are conducted to demonstrate the effectiveness of the proposed framework.
• Abstract（参考訳）: 近年、事前学習は注目と人気を集めているが、グラフベースの推薦システムへの応用は比較的限られている。 広く使われているid依存データセットで事前トレーニングすることで、事前知識を活用することは困難である。 一方、あるデータセットにおけるユーザ-テーマ間のインタラクション履歴は、idが異なるプリトレーニングによって、他のデータセットにはほとんど転送できない。 一方、同じデータセットで事前トレーニングと微調整を行うと、オーバーフィッティングのリスクが高くなる。 本稿では,タスクハイパーグラフによるレコメンデーションのために,unified pretrainingという,新しいマルチタスクプリトレーニングフレームワークを提案する。 様々な前文タスクの多様な要求やニュアンスを処理する統一学習パターンのために、前文タスクをハイパーエッジ予測に一般化するタスクハイパーグラフを設計する。 各テキストタスクとレコメンデーションの関連性を判別的に学習するために、新しい遷移注意層が考案される。 3つのベンチマークデータセットの実験結果は、UPRTHの優位性を検証する。 提案手法の有効性を実証するため,さらに詳細な調査を行った。

関連論文リスト

• MultiGPrompt for Multi-Task Pre-Training and Prompting on Graphs [33.2696184519275]
  MultiGPromptは、グラフ表現学習のための新しいマルチタスク事前学習およびプロンプトフレームワークである。 本稿では,タスク固有の知識とグローバルな事前学習知識を活用するために,構成されたプロンプトとオープンプロンプトからなるデュアルプロンプト機構を提案する。
  論文  参考訳（メタデータ） (2023-11-28T02:36:53Z)
• A Supervised Contrastive Learning Pretrain-Finetune Approach for Time Series [15.218841180577135]
  本稿では,教師付きコントラスト学習を利用して,事前学習データセット内の特徴を識別する新しい事前学習手法を提案する。 次に、事前学習データセットの学習力学とより密に連携することで、目標データの正確な予測を強化するための微調整手順を提案する。
  論文  参考訳（メタデータ） (2023-11-21T02:06:52Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• Socratic Pretraining: Question-Driven Pretraining for Controllable Summarization [89.04537372465612]
  ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。 以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
  論文  参考訳（メタデータ） (2022-12-20T17:27:10Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。