論文の概要: Neural Collaborative Filtering vs. Matrix Factorization Revisited

• arxiv url: http://arxiv.org/abs/2005.09683v2
• Date: Mon, 1 Jun 2020 23:21:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 13:38:45.095208
• Title: Neural Collaborative Filtering vs. Matrix Factorization Revisited
• Title（参考訳）: ニューラルコラボレーティブフィルタリングとマトリックス因子化の再検討
• Authors: Steffen Rendle, Walid Krichene, Li Zhang, John Anderson
• Abstract要約: 埋め込みベースのモデルは、コラボレーションフィルタリングにおける10年以上の最先端技術である。 近年、ドット積を多層パーセプトロン(MLP)のような学習された類似性に置き換えることが提案されている。
• 参考スコア（独自算出の注目度）: 20.237381375881228
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embedding based models have been the state of the art in collaborative filtering for over a decade. Traditionally, the dot product or higher order equivalents have been used to combine two or more embeddings, e.g., most notably in matrix factorization. In recent years, it was suggested to replace the dot product with a learned similarity e.g. using a multilayer perceptron (MLP). This approach is often referred to as neural collaborative filtering (NCF). In this work, we revisit the experiments of the NCF paper that popularized learned similarities using MLPs. First, we show that with a proper hyperparameter selection, a simple dot product substantially outperforms the proposed learned similarities. Second, while a MLP can in theory approximate any function, we show that it is non-trivial to learn a dot product with an MLP. Finally, we discuss practical issues that arise when applying MLP based similarities and show that MLPs are too costly to use for item recommendation in production environments while dot products allow to apply very efficient retrieval algorithms. We conclude that MLPs should be used with care as embedding combiner and that dot products might be a better default choice.
• Abstract（参考訳）: 埋め込みベースのモデルは、コラボレーションフィルタリングにおける10年以上の最先端技術である。 伝統的に、ドット積または高次同値は、例えば行列分解において、2つ以上の埋め込みを結合するために用いられる。 近年では多層パーセプトロン(mlp)を用いてドット生成物を学習した類似性に置き換えることが提案されている。 この手法はしばしばニューラルコラボレーティブ・フィルタリング(NCF)と呼ばれる。 本研究では,MLPを用いて類似性を学習したNCF論文の実験を再考する。 まず, 適切なハイパーパラメータ選択により, 単純なドット積が学習した類似性を大幅に上回ることを示す。 第二に、mlp は理論上任意の関数を近似することができるが、mlp を持つ点積を学ぶことは非自明である。 最後に,MDPをベースとした類似性を適用した場合の実践的問題について議論し,実運用環境での項目推薦にMLPがあまりにも高価であることを示す。 我々は、mlpはコンビネータの組み込みとして使用すべきであり、dot製品はより良いデフォルト選択であるかもしれないと結論づけた。

関連論文リスト

• KAN or MLP: A Fairer Comparison [63.794304207664176]
  本稿では,様々なタスクにおけるkanとモデルの比較を,より公平かつ包括的に行う。 パラメータ数とFLOPを制御して,kanの性能と表現性を比較する。 我々は,KANSAの課題が,標準クラス増分学習環境において忘れることよりも深刻であることが確認された。
  論文  参考訳（メタデータ） (2024-07-23T17:43:35Z)
• MLPs Learn In-Context on Regression and Classification Tasks [28.13046236900491]
  In-context Learning (ICL) はしばしばトランスフォーマーモデルのユニークな特徴であると考えられている。 マルチ層パーセプトロン(MLP)もコンテキスト内で学習可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-24T15:04:36Z)
• Tuning Pre-trained Model via Moment Probing [62.445281364055795]
  本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。 MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。 当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
  論文  参考訳（メタデータ） (2023-07-21T04:15:02Z)
• NTK-approximating MLP Fusion for Efficient Language Model Fine-tuning [40.994306592119266]
  訓練済みの言語モデル(PLM)を微調整することは、多くの自然言語処理アプリケーションにおいて主要な戦略として現れる。 いくつかの一般的なアプローチ(量子化や蒸留など)は、PLM微細チューニングの計算/メモリを減らすために広く研究されている。 我々は、NTK近似モジュールを融合して軽量PLMを作成することを提案する。
  論文  参考訳（メタデータ） (2023-07-18T03:12:51Z)
• Understanding MLP-Mixer as a Wide and Sparse MLP [7.734726150561087]
  多層パーセプトロン(MLP)は深層学習の基本的な構成要素である。 最近のアーキテクチャ、特にMixer-Mixerは、経験的成功を収めた。 スパースネスはMixer-Mixersの根底にある重要なメカニズムであることを示す。
  論文  参考訳（メタデータ） (2023-06-02T11:51:24Z)
• MLP-AIR: An Efficient MLP-Based Method for Actor Interaction Relation Learning in Group Activity Recognition [4.24515544235173]
  グループ活動認識(GAR)は,グループ内のアクターと時間的相互作用関係を学習することにより,グループの活動カテゴリを予測することを目的としている。 これまでの研究は主に、よく設計されたGCNやトランスフォーマーによる相互作用関係を学習してきた。 本稿では,GARにおけるアクターインタラクション関係学習(MLP-AIR)の新しい手法を設計する。
  論文  参考訳（メタデータ） (2023-04-18T08:07:23Z)
• MLP-3D: A MLP-like 3D Architecture with Grouped Time Mixing [123.43419144051703]
  ビデオ認識のための斬新な3Dアーキテクチャを提案する。 結果は、最先端の3D CNNやビデオに匹敵する。
  論文  参考訳（メタデータ） (2022-06-13T16:21:33Z)
• RepMLPNet: Hierarchical Vision MLP with Re-parameterized Locality [113.1414517605892]
  そこで本研究では,FC層に局所前処理を組み込む手法であるLocality Injectionを提案する。 RepMLPNetはCityscapesセマンティックセグメンテーションにシームレスに移行した最初の企業である。
  論文  参考訳（メタデータ） (2021-12-21T10:28:17Z)
• MLP Architectures for Vision-and-Language Modeling: An Empirical Study [91.6393550858739]
  視覚・機能融合(VL)におけるアーキテクチャの利用に関する最初の実証的研究を開始する。 プレトレーニングなしでは、マルチモーダルフュージョンの使用はトランスに比べて顕著な性能差があることが判明した。 マルチヘッドの注意を多用する代わりに、エンコーダに小さなワンヘッドの注意を加えることで、トランスフォーマーに匹敵するパフォーマンスを達成するのに十分である。
  論文  参考訳（メタデータ） (2021-12-08T18:26:19Z)
• CycleMLP: A MLP-like Architecture for Dense Prediction [26.74203747156439]
  CycleMLPは視覚認識と密度予測のための汎用的なバックボーンである。 様々な画像サイズに対処でき、ローカルウィンドウを使用することで、画像サイズに対する線形計算の複雑さを実現する。 CycleMLPは、モデルに対するオブジェクト検出、インスタンスセグメンテーション、セマンティックセグメンテーションの競合するベースラインを提供することを目的としている。
  論文  参考訳（メタデータ） (2021-07-21T17:23:06Z)
• MLP-Mixer: An all-MLP Architecture for Vision [93.16118698071993]
  マルチ層パーセプトロン(MLP)を基盤としたアーキテクチャ「Mixer」を発表。 Mixerはイメージ分類ベンチマークで競合スコアを獲得し、事前トレーニングと推論は最先端のモデルに匹敵する。
  論文  参考訳（メタデータ） (2021-05-04T16:17:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。