論文の概要: (Debiased) Contrastive Learning Loss for Recommendation (Technical Report)

• arxiv url: http://arxiv.org/abs/2312.08517v2
• Date: Mon, 04 Nov 2024 06:32:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:41:03.727163
• Title: (Debiased) Contrastive Learning Loss for Recommendation (Technical Report)
• Title（参考訳）: (偏り)勧告のためのコントラスト学習損失(技術報告)
• Authors: Ruoming Jin, Dong Li,
• Abstract要約: 提案手法では,デバイアスドInfoNCEと相互情報ニューラル推定器(MINE)を初めて導入し,検討する。 MSE と CCL の双方に偏りのある点損失を提示し、理論上最も人気のある2つの線形モデルである iALS と EASE が本質的に偏りであることを示す。 実験の結果, 脱バイアス化損失の有効性が示され, 新たに導入された相互情報損失は, 既存の(バイアス化)損失よりも優れていた。
• 参考スコア（独自算出の注目度）: 9.295305143447962
• License:
• Abstract: In this paper, we perform a systemic examination of the recommendation losses, including listwise (softmax), pairwise(BPR), and pointwise (mean-squared error, MSE, and Cosine Contrastive Loss, CCL) losses through the lens of contrastive learning. We introduce and study both debiased InfoNCE and mutual information neural estimator (MINE), for the first time, under the recommendation setting. We also relate and differentiate these two losses with the BPR loss through the lower bound analysis. Furthermore, we present the debiased pointwise loss (for both MSE and CCL) and theoretically certify both iALS and EASE, two of the most popular linear models, are inherently debiased. The empirical experimental results demonstrate the effectiveness of the debiased losses and newly introduced mutual-information losses outperform the existing (biased) ones.
• Abstract（参考訳）: 本稿では,リストワイド(ソフトマックス),ペアワイド(BPR),ポイントワイド(平均二乗誤差,MSE,コサインコントラスト損失,CCL)などの推薦損失を,コントラスト学習のレンズを通してシステム的に検証する。 提案手法では,デバイアスドInfoNCEと相互情報ニューラル推定器(MINE)を初めて導入し,検討する。 また, この2つの損失を, 下位境界解析によるBPR損失と関連づけ, 区別する。 さらに, 2つの最もポピュラーな線形モデルであるiALSとEASEの両方が本質的にデバイアス化されていることを理論的に証明する。 実証実験の結果, 脱バイアス化損失の有効性が示され, 新たに導入された相互情報損失は, 既存の(偏バイアス化)損失よりも優れていた。

関連論文リスト

• Marginal Debiased Network for Fair Visual Recognition [59.05212866862219]
  本稿では,デバイアス表現を学習するための新しい限界脱バイアスネットワーク(MDN)を提案する。 我々のMDNは、表現不足のサンプルに対して顕著な性能を達成できる。
  論文  参考訳（メタデータ） (2024-01-04T08:57:09Z)
• Revisiting Recommendation Loss Functions through Contrastive Learning (Technical Report) [17.66432992703812]
  本稿では,バランス係数を持つInfoNCEの最適化一般化であるInfoNCE+を紹介する。 特に、新しい分離された対照的な損失であるMINE+に合わせると、パフォーマンス上のアドバンテージを強調します。 また,Debiased InfoNCEを用いて,Debiased CCLとしてポイントワイドレコメンデーション損失(CCL)を除去する。
  論文  参考訳（メタデータ） (2023-12-13T21:15:29Z)
• Investigating Group Distributionally Robust Optimization for Deep Imbalanced Learning: A Case Study of Binary Tabular Data Classification [0.44040106718326594]
  不均衡学習のための群分散ロバスト最適化(gDRO)について検討した。 経験的リスク最小化法 (ERM) と古典的不均衡法との比較実験により, gDROの優れた性能が示された。
  論文  参考訳（メタデータ） (2023-03-04T21:20:58Z)
• Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
  我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。 CPRは、露出メカニズムを知らずに不偏の推奨を達成する。 理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
  論文  参考訳（メタデータ） (2022-04-26T09:20:27Z)
• Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic Choices [37.559461866831754]
  我々は、深いAUROC最適化問題に対するアルゴリズム選択の異なる様々な損失関数をベンチマークする。 正のサンプリング率、正規化、正規化/アクティベーション、重みなどの重要な選択を強調した。 以上の結果から,Adam-type法はトレーニングの面では競争力が高いが,テストの面では他よりも優れていないことが示唆された。
  論文  参考訳（メタデータ） (2022-03-27T00:47:00Z)
• Leveraged Weighted Loss for Partial Label Learning [64.85763991485652]
  部分ラベル学習は、各インスタンスに候補ラベルのセットが割り当てられるデータを扱うが、そのうちの1つだけが真実である。 部分ラベルからの学習に関する多くの方法論の研究にもかかわらず、リスク一貫した性質に関する理論的理解はいまだに欠けている。 本稿では,テキスト重み付き損失(LW)と呼ばれる損失関数のファミリーを提案する。これはまず,部分ラベル上の損失と非部分的な損失とのトレードオフを検討するために,レバレッジパラメータ$beta$を導入する。
  論文  参考訳（メタデータ） (2021-06-10T13:25:13Z)
• Learning from Similarity-Confidence Data [94.94650350944377]
  類似度信頼性(Sconf)データから学習する新しい弱監督学習問題について検討する。 本研究では,Sconfデータのみから計算可能な分類リスクの非バイアス推定器を提案し,推定誤差境界が最適収束率を達成することを示す。
  論文  参考訳（メタデータ） (2021-02-13T07:31:16Z)
• A Symmetric Loss Perspective of Reliable Machine Learning [87.68601212686086]
  平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。 我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
  論文  参考訳（メタデータ） (2021-01-05T06:25:47Z)
• On the Generalization Properties of Adversarial Training [21.79888306754263]
  本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。 滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
  論文  参考訳（メタデータ） (2020-08-15T02:32:09Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。