Fugu-MT 論文翻訳(概要): Breaking the Softmax Bottleneck for Sequential Recommender Systems with Dropout and Decoupling

論文の概要: Breaking the Softmax Bottleneck for Sequential Recommender Systems with Dropout and Decoupling

arxiv url: http://arxiv.org/abs/2110.05409v1
Date: Mon, 11 Oct 2021 16:52:23 GMT
ステータス: 処理完了
システム内更新日: 2021-10-12 21:48:39.937296
Title: Breaking the Softmax Bottleneck for Sequential Recommender Systems with Dropout and Decoupling
Title（参考訳）: ドロップアウトとデカップリングによる逐次レコメンダシステムのソフトマックスボトルネックの解消
Authors: Ying-Chen Lin
Abstract要約: SBRSのSoftmaxボトルネックには、さらに多くの側面があることが示されています。そこで本研究では,これらの問題を緩和するために,D&D(Dropout and Decoupling)というシンプルな手法を提案する。本手法は,様々なSoftmaxベースのSBRSアルゴリズムの精度を大幅に向上させる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The Softmax bottleneck was first identified in language modeling as a theoretical limit on the expressivity of Softmax-based models. Being one of the most widely-used methods to output probability, Softmax-based models have found a wide range of applications, including session-based recommender systems (SBRSs). Softmax-based models consist of a Softmax function on top of a final linear layer. The bottleneck has been shown to be caused by rank deficiency in the final linear layer due to its connection with matrix factorization. In this paper, we show that there are more aspects to the Softmax bottleneck in SBRSs. Contrary to common beliefs, overfitting does happen in the final linear layer, while it is often associated with complex networks. Furthermore, we identified that the common technique of sharing item embeddings among session sequences and the candidate pool creates a tight-coupling that also contributes to the bottleneck. We propose a simple yet effective method, Dropout and Decoupling (D&D), to alleviate these problems. Our experiments show that our method significantly improves the accuracy of a variety of Softmax-based SBRS algorithms. When compared to other computationally expensive methods, such as MLP and MoS (Mixture of Softmaxes), our method performs on par with and at times even better than those methods, while keeping the same time complexity as Softmax-based models.
Abstract（参考訳）: softmaxのボトルネックは、最初に言語モデリングにおいて、softmaxベースのモデルの表現性に関する理論的限界として特定された。確率を出力する最も広く使われている手法の1つとして、Softmaxベースのモデルはセッションベースレコメンデータシステム(SBRS)を含む広範囲のアプリケーションを発見した。 softmaxベースのモデルは、最終線形層の上にsoftmax関数で構成される。ボトルネックは行列因子分解と関連した最終線形層におけるランク不足に起因することが示されている。本稿では,SBRSにおけるSoftmaxボトルネックには,さらに多くの側面が存在することを示す。一般的な信念に反して、オーバーフィッティングは最終線形層で起こるが、複雑なネットワークとしばしば関連づけられる。さらに,セッションシーケンスと候補プール間のアイテム埋め込みを共通的に共有する手法が,ボトルネックにも寄与する密結合を生み出していることを見出した。本稿では,これらの問題を緩和するために,簡易かつ効果的なD&D法を提案する。本手法は,様々なソフトマックスベースsbrsアルゴリズムの精度を大幅に向上させることを示す。 MLP や MoS (Mixture of Softmaxes) などの計算コストの高い手法と比較しても,本手法はソフトマックスモデルと同等の時間的複雑さを保ちながら,それらの手法と同等,時として同等に動作する。

関連論文リスト

MultiMax: Sparse and Multi-Modal Attention Learning [60.49318008131978]
SoftMaxは現代の機械学習アルゴリズムのユビキタスな成分である。分散性はSoftMaxの変種族によって達成できるが、それらはしばしば代替損失関数を必要とし、多重モダリティを保たない。入力入力範囲に応じて出力分布を適応的に変調するMultiMaxを提案する。
論文参考訳（メタデータ） (2024-06-03T10:51:43Z)
A Method of Moments Embedding Constraint and its Application to Semi-Supervised Learning [2.8266810371534152]
線形+ソフトマックス最終層を持つ非ネイティブなディープラーニングモデルには問題がある。ラテント空間は条件付き確率$p(Y|X)$だけを予測するが、完全関節分布$p(Y,X)$は予測しない。このことは、幻覚、不明瞭なバイアス、大規模なデータセットへの依存など、多くの問題に影響を及ぼす過信モデルをさらに悪化させる。
論文参考訳（メタデータ） (2024-04-27T18:41:32Z)
To Copy, or not to Copy; That is a Critical Issue of the Output Softmax Layer in Neural Sequential Recommenders [48.8643117818312]
本研究では,単一隠れ状態埋め込みと静的アイテム埋め込みを出力ソフトマックス層に埋め込むという問題の原因を明らかにする。我々は、最近提案されたSoftmax-CPRのようなソフトマックス代替案を逐次レコメンデーションタスクに適用し、新しいソフトマックスアーキテクチャが、いつコピーするか、いつ入力シーケンスからアイテムを除外するかを学ぶ際に、ニューラルエンコーダの能力を解き放つことを示した。
論文参考訳（メタデータ） (2023-10-21T18:04:04Z)
Revisiting the Architectures like Pointer Networks to Efficiently Improve the Next Word Distribution, Summarization Factuality, and Beyond [37.96043934146189]
本稿では,ポインタネットワークを簡素化し,単語ごとのリランカを高速化することで,いくつかのソフトマックス代替案を提案する。 GPT-2では,提案手法はソフトマックスの混合よりも有意に効率的かつ効率的である。 T5-Smallに基づく最良の方法は、CNN/DMおよびXSUMデータセットにおいてファクトCCスコアを2ポイント改善し、ブックサム段落レベルのデータセットではMAUVEスコアを30%改善する。
論文参考訳（メタデータ） (2023-05-20T21:52:24Z)
r-softmax: Generalized Softmax with Controllable Sparsity Rate [11.39524236962986]
本稿では,ソフトマックスの修正であるr-softmaxを提案し,スパース確率分布を制御可能なスペーサ率で出力する。我々は、r-softmaxが他のソフトマックス代替品よりも優れており、元のソフトマックスと高い競争力を持つ複数のマルチラベルデータセットを示す。
論文参考訳（メタデータ） (2023-04-11T14:28:29Z)
Spectral Aware Softmax for Visible-Infrared Person Re-Identification [123.69049942659285]
Visible-infrared person re-identification (VI-ReID) は、異なるモードの歩行者画像とマッチングすることを目的としている。既存の手法は依然として、単一モダリティ分類タスクで広く使われているソフトマックス損失訓練パラダイムに従っている。そこで本研究では, スペクトル対応ソフトマックス(SA-Softmax)の損失について提案する。
論文参考訳（メタデータ） (2023-02-03T02:57:18Z)
Softmax-free Linear Transformers [90.83157268265654]
視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
論文参考訳（メタデータ） (2022-07-05T03:08:27Z)
Enhancing Classifier Conservativeness and Robustness by Polynomiality [23.099278014212146]
我々はその状況をいかに改善できるかを示す。直接的に関連し、単純で、しかし重要な技術的ノベルティは、SoftRmaxです。我々は,ソフトRmaxの2つの側面,保守性,本質的な頑健性は,逆正則化につながることを示した。
論文参考訳（メタデータ） (2022-03-23T19:36:19Z)
Sparse-softmax: A Simpler and Faster Alternative Softmax Transformation [2.3813678058429626]
ソフトマックス関数は、多クラス分類問題に対する人工ニューラルネットワークで広く用いられている。本稿では,従来のソフトマックスで発生した問題を高次元の分類問題の観点から緩和するために,単純で簡潔なソフトマックス変種であるスパース・ソフトマックスについて実証的研究を行う。
論文参考訳（メタデータ） (2021-12-23T09:53:38Z)
SOFT: Softmax-free Transformer with Linear Complexity [112.9754491864247]
視覚変換器(ViT)は、パッチワイド画像トークン化と自己認識によって、様々な視覚認識タスクの最先端を推し進めている。線形複雑度で自己注意を近似する様々な試みが自然言語処理で行われている。これらの制限は、近似中にソフトマックスの自己注意を維持することに根ざしている。ソフトマックスフリー変圧器(SOFT)を初めて提案する。
論文参考訳（メタデータ） (2021-10-22T17:57:29Z)
Sparse Attention with Linear Units [60.399814410157425]
本稿では, ソフトマックスアクティベーションをReLUに置き換えることにより, 注目度を向上する新しい, 簡便な手法を提案する。我々のモデルはRectified Linear Attention (ReLA)と呼ばれ、以前提案したスパースアテンション機構よりも実装が容易で効率的である。分析の結果,RELAは高い空間性率と頭部の多様性を達成でき,ソース・ターゲット単語アライメントの精度が向上することがわかった。
論文参考訳（メタデータ） (2021-04-14T17:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。