論文の概要: PSL: Rethinking and Improving Softmax Loss from Pairwise Perspective for Recommendation

• arxiv url: http://arxiv.org/abs/2411.00163v1
• Date: Thu, 31 Oct 2024 19:11:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:49:26.573709
• Title: PSL: Rethinking and Improving Softmax Loss from Pairwise Perspective for Recommendation
• Title（参考訳）: PSL:リコメンデーションのためのペアワイズの観点からのソフトマックス損失の再考と改善
• Authors: Weiqin Yang, Jiawei Chen, Xin Xin, Sheng Zhou, Binbin Hu, Yan Feng, Chun Chen, Can Wang,
• Abstract要約: SL(Softmax Loss)は、推奨システム(RS)に広く適用されており、有効性を示している。 この研究は、SLをペアワイズの観点から分析し、2つの重要な制限を明らかにした。 これらの問題に対処するため、この研究はSLをPSL(Pairwise Softmax Loss)と呼ばれる新しい損失関数群に拡張した。
• 参考スコア（独自算出の注目度）: 27.320498553323404
• License:
• Abstract: Softmax Loss (SL) is widely applied in recommender systems (RS) and has demonstrated effectiveness. This work analyzes SL from a pairwise perspective, revealing two significant limitations: 1) the relationship between SL and conventional ranking metrics like DCG is not sufficiently tight; 2) SL is highly sensitive to false negative instances. Our analysis indicates that these limitations are primarily due to the use of the exponential function. To address these issues, this work extends SL to a new family of loss functions, termed Pairwise Softmax Loss (PSL), which replaces the exponential function in SL with other appropriate activation functions. While the revision is minimal, we highlight three merits of PSL: 1) it serves as a tighter surrogate for DCG with suitable activation functions; 2) it better balances data contributions; and 3) it acts as a specific BPR loss enhanced by Distributionally Robust Optimization (DRO). We further validate the effectiveness and robustness of PSL through empirical experiments. The code is available at https://github.com/Tiny-Snow/IR-Benchmark.
• Abstract（参考訳）: SL(Softmax Loss)は、推奨システム(RS)に広く適用されており、有効性を示している。 この研究は、SLをペアの観点から分析し、2つの重要な制限を明らかにします。 1) SLとDCGのような従来のランキング指標との関係は,十分に厳密ではない。 2) SLは偽陰性症例に対して非常に敏感である。 分析の結果,これらの制限は主に指数関数の利用によるものであることが示唆された。 これらの問題に対処するため、この研究はSLの指数関数を他の適切な活性化関数に置き換えるPSL(Pairwise Softmax Loss)と呼ばれる新しい損失関数群に拡張する。 改訂は最小限であるが、PSLの3つのメリットを強調している。 1) 適切な活性化機能を有するDCGのより緊密な代理として機能する。 2)データのコントリビューションのバランスが良く、そして 3)分散ロバスト最適化(DRO)によって強化された特定のBPR損失として機能する。 さらに,実証実験によりPSLの有効性とロバスト性を検証した。 コードはhttps://github.com/Tiny-Snow/IR-Benchmarkで公開されている。

関連論文リスト

• Sparsing Law: Towards Large Language Models with Greater Activation Sparsity [62.09617609556697]
  活性化空間性は、除去できる活性化出力の中に、かなり弱い分散要素が存在することを表す。 PPL-$p%$ sparsity, a accurate and performance-aware activation sparsity metric。 我々は、SiLUよりも活性化関数としてReLUが効率的であることを示し、より多くのトレーニングデータを利用してアクティベーション空間を改善することができることを示した。
  論文  参考訳（メタデータ） (2024-11-04T17:59:04Z)
• ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
  本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。 スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。 我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
  論文  参考訳（メタデータ） (2024-02-06T08:45:51Z)
• BSL: Understanding and Improving Softmax Loss for Recommendation [13.10440836605245]
  ソフトマックス・ロス (SL) は, 精度は高いが, 堅牢性や公正性も向上する。 本稿では, SL の利点を正と負の両面に拡張する新たな損失関数としてバイラテラル・ソフトマックス・ロス (BSL) を提案する。 BSLは単純で実装が容易で、SLと比較して1行追加のコードしか必要ありません。
  論文  参考訳（メタデータ） (2023-12-20T09:46:42Z)
• Can semi-supervised learning use all the data effectively? A lower bound perspective [58.71657561857055]
  半教師付き学習アルゴリズムはラベル付きデータを利用して教師付き学習アルゴリズムのラベル付きサンプル複雑性を改善することができることを示す。 我々の研究は、SSLアルゴリズムのパフォーマンス向上を証明することは可能だが、定数の注意深く追跡する必要があることを示唆している。
  論文  参考訳（メタデータ） (2023-11-30T13:48:50Z)
• Beyond Imitation: Leveraging Fine-grained Quality Signals for Alignment [105.34140537748546]
  我々はFIGAという改良されたアライメント手法を提案し、従来の手法とは異なり、良質な応答と悪質な応答の対比から導出されるきめ細かい品質信号を取り込む。 まず、初期応答とそれに対応する修正データセットをペアリングする精巧なアライメントデータセットをキュレートする。 第2に,LLMの微粒な品質信号を利用してアライメントの学習を指導する新たな損失関数を考案する。
  論文  参考訳（メタデータ） (2023-11-07T15:36:40Z)
• Private Non-Convex Federated Learning Without a Trusted Server [7.971065005161566]
  非信頼の損失関数を持つクロスサイロ学習(FL)のための新しいアルゴリズムと、他のサイロを信頼していない人のデータを提案する。 我々のアルゴリズムは、凸性やi.d.データを仮定することなく、ISRL-DP FLの最適凸、等質(すなわち等質)を達成する。 数値実験により,我々のアルゴリズムは,ほとんどのプライバシレベルのベースラインよりも精度が高いことがわかった。
  論文  参考訳（メタデータ） (2022-03-13T19:17:15Z)
• The Rich Get Richer: Disparate Impact of Semi-Supervised Learning [22.37601266333974]
  半教師付き学習(SSL)は、様々な学習タスクのモデル精度を改善する可能性を実証している。 SSLがサブポピュレーションにどう影響するかは不明だ。 我々は,新たな指標であるベネフィット比を導入し,SSLの公平性の評価を促進する。
  論文  参考訳（メタデータ） (2021-10-12T19:05:06Z)
• An Exponential Lower Bound for Linearly-Realizable MDPs with Constant Suboptimality Gap [66.75488143823337]
  また, 指数的標本複雑度は, 一定の準最適ギャップを仮定しても, 未だに保持していることを示した。 おそらく驚くことに、これはオンラインrl設定と生成モデル設定の指数関数的な分離を意味する。
  論文  参考訳（メタデータ） (2021-03-23T17:05:54Z)
• Towards Understanding Label Smoothing [36.54164997035046]
  ラベルスムーズな正規化(LSR)は、トレーニングアルゴリズムによるディープニューラルネットワークにおいて大きな成功を収めている。 適切なLSRが分散を減少させることで収束を加速することを示す。 本稿では,TSLA(Two-Stage LAbel smoothing algorithm)を提案する。
  論文  参考訳（メタデータ） (2020-06-20T20:36:17Z)
• Accelerated Convergence for Counterfactual Learning to Rank [65.63997193915257]
  IPS重み付き勾配を持つSGD手法の収束速度は、IPS重みによる大きなばらつきに悩まされることを示す。 本稿では,従来のIPS重み付け勾配降下法よりも優れた収束性を有する新しい学習アルゴリズムであるCounterSampleを提案する。 我々は、CounterSampleがより早く収束し、理論的な結果と経験的な結果とを補完することを証明する。
  論文  参考訳（メタデータ） (2020-05-21T12:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。