論文の概要: Leveraging Auto-Distillation and Generative Self-Supervised Learning in Residual Graph Transformers for Enhanced Recommender Systems
- arxiv url: http://arxiv.org/abs/2504.10500v1
- Date: Tue, 08 Apr 2025 08:15:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-24 12:31:21.155496
- Title: Leveraging Auto-Distillation and Generative Self-Supervised Learning in Residual Graph Transformers for Enhanced Recommender Systems
- Title（参考訳）: 余剰グラフ変換器における自己蒸留と自己超越学習の活用
- Authors: Eya Mhedhbi, Youssef Mourchid, Alice Othmani,
- Abstract要約: 本稿では、生成自己教師付き学習(SSL)とResidual Graph Transformerを統合することにより、レコメンデータシステムを強化するための最先端手法を提案する。
当社のアプローチでは,ユーザとアイテムのインタラクションの明確な方法を抽出するために,有意なプレテキストタスクを使用して,合理的なSSLを通じて自動化する上で,優れたデータ強化の重要性を強調している。
- 参考スコア（独自算出の注目度）: 2.34863357088666
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper introduces a cutting-edge method for enhancing recommender systems through the integration of generative self-supervised learning (SSL) with a Residual Graph Transformer. Our approach emphasizes the importance of superior data enhancement through the use of pertinent pretext tasks, automated through rationale-aware SSL to distill clear ways of how users and items interact. The Residual Graph Transformer incorporates a topology-aware transformer for global context and employs residual connections to improve graph representation learning. Additionally, an auto-distillation process refines self-supervised signals to uncover consistent collaborative rationales. Experimental evaluations on multiple datasets demonstrate that our approach consistently outperforms baseline methods.
- Abstract（参考訳）: 本稿では、生成自己教師付き学習(SSL)とResidual Graph Transformerを統合することにより、レコメンデータシステムを強化するための最先端手法を提案する。
当社のアプローチでは,ユーザとアイテムのインタラクションの明確な方法を抽出するために,有意なプレテキストタスクを使用して,合理的なSSLを通じて自動化する上で,優れたデータ強化の重要性を強調している。
Residual Graph Transformerは、グローバルコンテキストのためのトポロジ対応トランスフォーマーを内蔵し、グラフ表現学習を改善するために残接続を利用する。
さらに、自己蒸留プロセスは、一貫性のある協調的合理性を明らかにするために、自己教師付き信号を洗練する。
複数のデータセットに対する実験的な評価は、我々のアプローチがベースライン法を一貫して上回っていることを示している。
関連論文リスト
- Collaborative Multi-Agent Reinforcement Learning for Automated Feature Transformation with Graph-Driven Path Optimization [17.588657338437812]
グラフ駆動経路最適化により特徴工学を自動化する多エージェント強化学習フレームワークであるTCTOを提案する。
フレームワークの中核的なイノベーションは、ノードとしての特徴をモデル化し、エッジとして変換する、進化する相互作用グラフにある。
包括的実験とケーススタディを行い、さまざまなデータセットで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2025-04-24T08:16:13Z) - Lightweight and Direct Document Relevance Optimization for Generative Information Retrieval [49.669503570350166]
生成情報検索(GenIR)は、文書識別子(ドシデント)生成タスクとして文書検索を定式化する有望なニューラル検索パラダイムである。
既存のGenIRモデルはトークンレベルのミスアライメントに悩まされており、次のトークンを予測するためにトレーニングされたモデルは、ドキュメントレベルの関連性を効果的にキャプチャできないことが多い。
本稿では,トークンレベルのドシデント生成と文書レベルのドシデンス推定をペアのランク付けによる直接最適化により整合するダイレクトドキュメントレバレンス最適化(DDRO)を提案する。
論文 参考訳（メタデータ） (2025-04-07T15:27:37Z) - Equivariant Representation Learning for Augmentation-based Self-Supervised Learning via Image Reconstruction [3.7003845808210594]
本稿では,拡張型自己教師型学習アルゴリズムにおいて,画像再構成タスクを補助的コンポーネントとして統合することを提案する。
提案手法は,2つの拡張ビューから学習した特徴をブレンドし,そのうちの1つを再構築するクロスアテンション機構を実装した。
結果は、標準強化に基づく自己教師あり学習法よりも大幅に改善されている。
論文 参考訳（メタデータ） (2024-12-04T13:47:37Z) - CONVERT:Contrastive Graph Clustering with Reliable Augmentation [110.46658439733106]
信頼性オーグメンテーション(CONVERT)を用いたContrastiVe Graph ClustEringネットワークを提案する。
本手法では,データ拡張を可逆的パーターブ・リカバリネットワークにより処理する。
セマンティクスの信頼性をさらに保証するために、ネットワークを制約する新たなセマンティクス損失が提示される。
論文 参考訳（メタデータ） (2023-08-17T13:07:09Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Transformer-based Planning for Symbolic Regression [18.90700817248397]
シンボリック・レグレッションのためのトランスフォーマーに基づく計画戦略であるTPSRを提案する。
従来の復号法とは異なり、TPSRは精度や複雑さなど、微分不可能なフィードバックの統合を可能にする。
我々の手法は最先端の手法より優れており、モデルの適合・複雑性トレードオフ、象徴的能力、騒音に対する堅牢性を高めている。
論文 参考訳（メタデータ） (2023-03-13T03:29:58Z) - GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。
我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。
学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
論文 参考訳（メタデータ） (2022-12-07T10:19:39Z) - Self-Supervised Hypergraph Transformer for Recommender Systems [25.07482350586435]
自己監督型ハイパーグラフ変換器(SHT)
自己監督型ハイパーグラフ変換器(SHT)
ユーザ-テム相互作用グラフ上のデータ拡張のために,クロスビュー生成型自己教師型学習コンポーネントを提案する。
論文 参考訳（メタデータ） (2022-07-28T18:40:30Z) - Federated Stochastic Gradient Descent Begets Self-Induced Momentum [151.4322255230084]
Federated Learning(FL)は、モバイルエッジシステムに適用可能な、新興の機械学習手法である。
このような条件下での勾配降下(SGD)への走行は,大域的な集約プロセスに運動量的な項を加えるとみなすことができる。
論文 参考訳（メタデータ） (2022-02-17T02:01:37Z) - GAN-Supervised Dense Visual Alignment [95.37027391102684]
本稿では,識別モデル学習のためのフレームワークであるGAN-Supervised Learningと,GAN生成した学習データをエンドツーエンドで共同で学習する手法を提案する。
従来のCongealing法にインスパイアされた我々のGANgealingアルゴリズムは、Spatial Transformerを訓練し、不整合データに基づいて訓練されたGANのランダムなサンプルを共通の目標モードにマッピングする。
論文 参考訳（メタデータ） (2021-12-09T18:59:58Z) - Multi-Pretext Attention Network for Few-shot Learning with
Self-supervision [37.6064643502453]
補助的なサンプルに依存しない自己教師付き学習のための,新しい拡張不要な手法を提案する。
さらに,従来の拡張信頼手法とGCを組み合わせるために,特定の注意機構を利用するマルチテキスト注意ネットワーク(MAN)を提案する。
miniImageNetおよびtieredImageNetデータセット上でMANを幅広く評価し、提案手法が最新(SOTA)関連手法より優れていることを実証した。
論文 参考訳（メタデータ） (2021-03-10T10:48:37Z) - Guided Variational Autoencoder for Disentanglement Learning [79.02010588207416]
本稿では,潜在表現非絡み合い学習を行うことで,制御可能な生成モデルを学習できるアルゴリズム,Guided-VAEを提案する。
我々は、ガイド-VAEにおける教師なし戦略と教師なし戦略を設計し、バニラVAE上でのモデリングと制御能力の強化を観察する。
論文 参考訳（メタデータ） (2020-04-02T20:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。