Fugu-MT 論文翻訳(概要): BSL: Understanding and Improving Softmax Loss for Recommendation

論文の概要: BSL: Understanding and Improving Softmax Loss for Recommendation

arxiv url: http://arxiv.org/abs/2312.12882v1
Date: Wed, 20 Dec 2023 09:46:42 GMT
ステータス: 処理完了
システム内更新日: 2023-12-21 16:02:44.579491
Title: BSL: Understanding and Improving Softmax Loss for Recommendation
Title（参考訳）: BSL:レコメンデーションのためのSoftmax損失の理解と改善
Authors: Junkang Wu, Jiawei Chen, Jiancan Wu, Wentao Shi, Jizhi Zhang, Xiang Wang
Abstract要約: ソフトマックス・ロス (SL) は, 精度は高いが, 堅牢性や公正性も向上する。本稿では, SL の利点を正と負の両面に拡張する新たな損失関数としてバイラテラル・ソフトマックス・ロス (BSL) を提案する。 BSLは単純で実装が容易で、SLと比較して1行追加のコードしか必要ありません。
参考スコア（独自算出の注目度）: 13.10440836605245
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Loss functions steer the optimization direction of recommendation models and are critical to model performance, but have received relatively little attention in recent recommendation research. Among various losses, we find Softmax loss (SL) stands out for not only achieving remarkable accuracy but also better robustness and fairness. Nevertheless, the current literature lacks a comprehensive explanation for the efficacy of SL. Toward addressing this research gap, we conduct theoretical analyses on SL and uncover three insights: 1) Optimizing SL is equivalent to performing Distributionally Robust Optimization (DRO) on the negative data, thereby learning against perturbations on the negative distribution and yielding robustness to noisy negatives. 2) Comparing with other loss functions, SL implicitly penalizes the prediction variance, resulting in a smaller gap between predicted values and and thus producing fairer results. Building on these insights, we further propose a novel loss function Bilateral SoftMax Loss (BSL) that extends the advantage of SL to both positive and negative sides. BSL augments SL by applying the same Log-Expectation-Exp structure to positive examples as is used for negatives, making the model robust to the noisy positives as well. Remarkably, BSL is simple and easy-to-implement -- requiring just one additional line of code compared to SL. Experiments on four real-world datasets and three representative backbones demonstrate the effectiveness of our proposal. The code is available at https://github.com/junkangwu/BSL
Abstract（参考訳）: 損失関数はレコメンデーションモデルの最適化方向を制御し、モデル性能に重要なものであるが、最近のレコメンデーション研究ではあまり注目されていない。各種の損失のうち,Softmax Loss (SL) は,顕著な精度だけでなく,堅牢性や公正性も向上している。しかしながら、現在の文献にはSLの有効性に関する包括的な説明が欠けている。この研究ギャップに対処するために、SLに関する理論的分析を行い、3つの洞察を明らかにする。 1) SLの最適化は, 負のデータに対して分布ロバスト最適化(DRO)を行うことと等価であり, 負の分布に対する摂動から学習し, 雑音に頑健さをもたらす。 2) 他の損失関数と比較すると,SLは予測分散を暗黙的にペナルティ化し,予測値間のギャップが小さくなり,より公平な結果が得られる。これらの知見に基づいて、SLの利点を正と負の両方に拡張する新たな損失関数バイラテラル・ソフトマックス・ロス(BSL)を提案する。 BSL は正の例に同じ Log-Expectation-Exp 構造を適用して SL を強化し、そのモデルも雑音の正に頑健である。注目すべきなのは、BSLはシンプルで簡単に実装できることです。 4つの実世界のデータセットと3つの代表的なバックボーンに関する実験が提案の有効性を示しています。コードはhttps://github.com/junkangwu/BSLで入手できる。

関連論文リスト

PSL: Rethinking and Improving Softmax Loss from Pairwise Perspective for Recommendation [27.320498553323404]
SL(Softmax Loss)は、推奨システム(RS)に広く適用されており、有効性を示している。この研究は、SLをペアワイズの観点から分析し、2つの重要な制限を明らかにした。これらの問題に対処するため、この研究はSLをPSL(Pairwise Softmax Loss)と呼ばれる新しい損失関数群に拡張した。
論文参考訳（メタデータ） (2024-10-31T19:11:26Z)
As Simple as Fine-tuning: LLM Alignment via Bidirectional Negative Feedback Loss [26.860139372768092]
本稿では、最適化中に安定な双方向負のフィードバック(BNF)を確立する新しいアライメント損失を提案する。提案するBNF損失は, 対意に対照的な損失が不要となる。我々は、2つの挑戦的なQAベンチマークと4つの推論ベンチマークにまたがる広範な実験を行っている。
論文参考訳（メタデータ） (2024-10-07T08:44:04Z)
Negating Negatives: Alignment with Human Negative Samples via Distributional Dispreference Optimization [37.8788435790632]
大規模言語モデル(LLM)は、AIの役割に革命をもたらしたが、潜在的な社会的リスクをもたらしている。既存の方法は高品質な正負の訓練ペアに依存しており、ノイズの多い正の反応に悩まされており、負の反応とほとんど区別できない。本稿では,非参照応答と生成した非負応答との差を最大化する分散参照最適化(D$2$O)を提案する。
論文参考訳（メタデータ） (2024-03-06T03:02:38Z)
Can semi-supervised learning use all the data effectively? A lower bound perspective [58.71657561857055]
半教師付き学習アルゴリズムはラベル付きデータを利用して教師付き学習アルゴリズムのラベル付きサンプル複雑性を改善することができることを示す。我々の研究は、SSLアルゴリズムのパフォーマンス向上を証明することは可能だが、定数の注意深く追跡する必要があることを示唆している。
論文参考訳（メタデータ） (2023-11-30T13:48:50Z)
Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
論文参考訳（メタデータ） (2023-06-07T17:47:03Z)
On the Performance of Direct Loss Minimization for Bayesian Neural Networks [7.228820747275171]
直接損失最小化(DLM)は、正規化損失最小化を動機とする擬ベイズ法として提案されている。本稿では,BNN における DLM の実用的性能,その失敗の原因と ELBO の最適化との関係について検討する。
論文参考訳（メタデータ） (2022-11-15T18:39:06Z)
Doubly Robust Distributionally Robust Off-Policy Evaluation and Learning [59.02006924867438]
オフ政治評価と学習(OPE/L)は、オフラインの観察データを使用してより良い意思決定を行う。近年の研究では、分散ロバストなOPE/L (DROPE/L) が提案されているが、この提案は逆正則重み付けに依存している。 KL分散不確実性集合を用いたDROPE/Lの最初のDRアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-02-19T20:00:44Z)
Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
論文参考訳（メタデータ） (2021-02-12T22:57:28Z)
Towards Overcoming False Positives in Visual Relationship Detection [95.15011997876606]
視覚的関係検出(VRD)における偽陽性率の高い原因について検討する。本稿では,偽陽性の影響を軽減する堅牢なVRDフレームワークとして,Spatially-Aware Balanced negative pRoposal sAmpling(SABRA)を提案する。
論文参考訳（メタデータ） (2020-12-23T06:28:00Z)
Robust Semi-Supervised Learning with Out of Distribution Data [6.68290213951907]
最近の研究は、ラベルなしセットが配布外例(OOD)を持つ場合、SSLアルゴリズムのパフォーマンスが低下する可能性があることを示している。本稿では,既存のSSLアルゴリズムに容易に拡張可能な,新しい統一ロバストSSL手法を提案する。
論文参考訳（メタデータ） (2020-10-07T21:18:46Z)
Modal Regression based Structured Low-rank Matrix Recovery for Multi-view Learning [70.57193072829288]
近年、低ランクなマルチビューサブスペース学習は、クロスビューの分類において大きな可能性を示している。既存のLMvSLベースの手法では、ビューの区別と差別を同時に扱うことができない。本稿では,視差を効果的に除去し,識別性を向上する独自の方法であるStructured Low-rank Matrix Recovery (SLMR)を提案する。
論文参考訳（メタデータ） (2020-03-22T03:57:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。