論文の概要: Prototypical Contrastive Learning through Alignment and Uniformity for Recommendation

• arxiv url: http://arxiv.org/abs/2402.02079v1
• Date: Sat, 3 Feb 2024 08:19:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 22:14:00.166851
• Title: Prototypical Contrastive Learning through Alignment and Uniformity for Recommendation
• Title（参考訳）: アライメントと一様性による推薦型コントラスト学習
• Authors: Yangxun Ou, Lei Chen, Fenglin Pan, Yupeng Wu
• Abstract要約: 提案するアンダーライン・アライメントとアンダーライン・ユニフォーマル性によるインダーライン型コントラスト学習について述べる。 具体的には、まず、原点グラフから異なる拡張点間の整合性を確保するために、潜時空間としてプロトタイプを提案する。 明示的な負の欠如は、インスタンスとプロトタイプ間の整合性損失を直接最適化することで、次元的な崩壊の問題が容易に生じることを意味する。
• 参考スコア（独自算出の注目度）: 6.790779112538357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Collaborative Filtering (GCF), one of the most widely adopted recommendation system methods, effectively captures intricate relationships between user and item interactions. Graph Contrastive Learning (GCL) based GCF has gained significant attention as it leverages self-supervised techniques to extract valuable signals from real-world scenarios. However, many methods usually learn the instances of discrimination tasks that involve the construction of contrastive pairs through random sampling. GCL approaches suffer from sampling bias issues, where the negatives might have a semantic structure similar to that of the positives, thus leading to a loss of effective feature representation. To address these problems, we present the \underline{Proto}typical contrastive learning through \underline{A}lignment and \underline{U}niformity for recommendation, which is called \textbf{ProtoAU}. Specifically, we first propose prototypes (cluster centroids) as a latent space to ensure consistency across different augmentations from the origin graph, aiming to eliminate the need for random sampling of contrastive pairs. Furthermore, the absence of explicit negatives means that directly optimizing the consistency loss between instance and prototype could easily result in dimensional collapse issues. Therefore, we propose aligning and maintaining uniformity in the prototypes of users and items as optimization objectives to prevent falling into trivial solutions. Finally, we conduct extensive experiments on four datasets and evaluate their performance on the task of link prediction. Experimental results demonstrate that the proposed ProtoAU outperforms other representative methods. The source codes of our proposed ProtoAU are available at \url{https://github.com/oceanlvr/ProtoAU}.
• Abstract（参考訳）: 最も広く採用されているレコメンデーションシステム手法の一つであるグラフコラボレーティブフィルタリング(gcf)は、ユーザとアイテムのインタラクション間の複雑な関係を効果的に捉えている。 グラフコントラスト学習(gcl)ベースのgcfは、実世界のシナリオから貴重な信号を抽出するために自己教師技術を活用することで、大きな注目を集めている。 しかし、多くの方法は通常、ランダムサンプリングによってコントラストペアを構成することを伴う識別タスクの例を学ぶ。 GCLアプローチはサンプリングバイアスの問題に悩まされ、陰性は正に類似した意味構造を持つ可能性があるため、効果的な特徴表現が失われる。 これらの問題に対処するために、推奨のために \underline{A}lignment と \underline{U}niformity を用いて、標準的なコントラスト学習を行い、それを \textbf{ProtoAU} と呼ぶ。 具体的には,まずプロトタイプ(クラスタ・セントロイド)を潜在空間として提案し,原点グラフの異なる拡張点間の整合性を確保することを目的として,無作為な対のランダムサンプリングを不要にすることを目的とした。 さらに、明示的な負の欠如は、インスタンスとプロトタイプ間の整合性損失を直接最適化することで、次元的な崩壊の問題が容易に生じることを意味する。 そこで本研究では,ユーザとアイテムのプロトタイプにおける統一性を維持することを,自明なソリューションに陥ることを防ぐための最適化目標として提案する。 最後に,4つのデータセットについて広範な実験を行い,リンク予測のタスクにおける性能評価を行った。 実験の結果,提案したProtoAUは,他の代表法よりも優れていた。 ProtoAU のソースコードは \url{https://github.com/oceanlvr/ProtoAU} で公開されている。

関連論文リスト

• Negative Prototypes Guided Contrastive Learning for WSOD [8.102080369924911]
  近年,画像レベルのアノテーションのみを持つ弱監視対象検出(WSOD)が注目されている。 本稿では,Native Prototypes Guided Contrastive Learning Architectureを提案する。 提案手法は最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-04T08:16:26Z)
• Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
  テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。 1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。 本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。 本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T03:33:39Z)
• Rethinking Prototypical Contrastive Learning through Alignment, Uniformity and Correlation [24.794022951873156]
  我々は、アライメント、均一性、相関(PAUC)を通して、プロトタイプ表現を学ぶことを提案する。 具体的には,(1)正の原型から埋め込みを抽出するアライメント損失,(2)原型レベルの特徴を均一に分配するアライメント損失,(3)原型レベルの特徴間の多様性と識別性を増大させる相関損失を補正する。
  論文  参考訳（メタデータ） (2022-10-18T22:33:12Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Defending Substitution-Based Profile Pollution Attacks on Sequential Recommenders [8.828396559882954]
  本稿では,ある脆弱な要素を選択し,それを逆数要素に置換することで,入力シーケンスを修飾する置換型逆数攻撃アルゴリズムを提案する。 また、ディリクレ近傍サンプリングと呼ばれる効率的な対角防御手法を設計する。 特に,選択した項目を1ホットエンコーディングで表現し,エンコーディングの勾配上昇を行い,トレーニング中の項目埋め込みの最悪の場合の線形結合を探索する。
  論文  参考訳（メタデータ） (2022-07-19T00:19:13Z)
• Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
  従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。 そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の 総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-07-04T13:51:29Z)
• Exploring Non-Contrastive Representation Learning for Deep Clustering [23.546602131801205]
  ディープクラスタリングのための非コントラスト表現学習は、負の例のない代表的手法であるBYOLに基づいている。 NCCは、すべてのクラスタが十分に分離され、クラスタ内の例がコンパクトな埋め込み空間を形成する。 ImageNet-1Kを含むいくつかのクラスタリングベンチマークデータセットの実験結果は、NCCが最先端の手法よりかなり優れていることを示している。
  論文  参考訳（メタデータ） (2021-11-23T12:21:53Z)
• Prototypical Graph Contrastive Learning [141.30842113683775]
  本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。 具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。 クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
  論文  参考訳（メタデータ） (2021-06-17T16:45:31Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。