論文の概要: Initialization Matters: Regularizing Manifold-informed Initialization
for Neural Recommendation Systems
- arxiv url: http://arxiv.org/abs/2106.04993v1
- Date: Wed, 9 Jun 2021 11:26:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-10 14:56:10.637861
- Title: Initialization Matters: Regularizing Manifold-informed Initialization
for Neural Recommendation Systems
- Title（参考訳）: 初期化事項:ニューラルレコメンデーションシステムにおける正規化マニフォールドインフォームド初期化
- Authors: Yinan Zhang, Boyang Li, Yong Liu, Hao Wang, Chunyan Miao
- Abstract要約: 我々は、Laplacian Eigenmapsと呼ばれる、分離データ(LEPORID)に対する人気に基づく正規化を用いた新しいユーザ埋め込み方式を提案する。
LEPORIDは、データ多様体上のマルチスケール近傍構造に関する情報を埋め込みに付与し、データ分布の尾に高い埋め込み分散を補う適応正規化を行う。
我々は、LEPORIDを持つ既存のニューラルネットワークが、KNNと同等かそれ以上に動作することを示す。
- 参考スコア（独自算出の注目度）: 47.49065927541129
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Proper initialization is crucial to the optimization and the generalization
of neural networks. However, most existing neural recommendation systems
initialize the user and item embeddings randomly. In this work, we propose a
new initialization scheme for user and item embeddings called Laplacian
Eigenmaps with Popularity-based Regularization for Isolated Data (LEPORID).
LEPORID endows the embeddings with information regarding multi-scale
neighborhood structures on the data manifold and performs adaptive
regularization to compensate for high embedding variance on the tail of the
data distribution. Exploiting matrix sparsity, LEPORID embeddings can be
computed efficiently. We evaluate LEPORID in a wide range of neural
recommendation models. In contrast to the recent surprising finding that the
simple K-nearest-neighbor (KNN) method often outperforms neural recommendation
systems, we show that existing neural systems initialized with LEPORID often
perform on par or better than KNN. To maximize the effects of the
initialization, we propose the Dual-Loss Residual Recommendation (DLR2)
network, which, when initialized with LEPORID, substantially outperforms both
traditional and state-of-the-art neural recommender systems.
- Abstract（参考訳）: 適切な初期化はニューラルネットワークの最適化と一般化に不可欠である。
しかし、既存のほとんどのニューラルレコメンデーションシステムは、ユーザとアイテムの埋め込みをランダムに初期化する。
本研究では,ユーザとアイテムの埋め込みのための新しい初期化スキームであるlaplacian eigenmapsを提案する。
LEPORIDは、データ多様体上のマルチスケール近傍構造に関する情報を埋め込みに付与し、データ分布の尾に高い埋め込み分散を補う適応正規化を行う。
マトリックススパーシティを利用して、レポロイド埋め込みを効率的に計算することができる。
レポロイドを多種多様な神経推薦モデルで評価する。
単純なK-nearest-neighbor(KNN)法が神経レコメンデーションシステムより優れているという最近の驚くべき発見とは対照的に、LEPORIDで初期化された既存の神経システムは、KNNよりも同等以上のパフォーマンスを示すことが多い。
初期化の効果を最大化するために,LEPORIDを初期化した場合,従来のニューラルレコメンデータシステムと最先端のニューラルレコメンデータシステムを大きく上回るDLR(Dual-Loss Residual Recommendation)ネットワークを提案する。
関連論文リスト
- Linear-Time Graph Neural Networks for Scalable Recommendations [50.45612795600707]
推薦システムの鍵は、過去のユーザとイテムのインタラクションに基づいて、ユーザの将来の振る舞いを予測することである。
近年、リコメンデータシステムの予測性能を高めるためにグラフニューラルネットワーク(GNN)を活用することへの関心が高まっている。
我々は,従来のMF手法と同等のスケーラビリティを実現するために,GNNベースのレコメンデータシステムをスケールアップするための線形時間グラフニューラルネットワーク(LTGNN)を提案する。
論文 参考訳（メタデータ） (2024-02-21T17:58:10Z) - Acceleration techniques for optimization over trained neural network
ensembles [1.0323063834827415]
本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。
本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
論文 参考訳（メタデータ） (2021-12-13T20:50:54Z) - Neuron Campaign for Initialization Guided by Information Bottleneck
Theory [31.44355490646638]
ディープニューラルネットワーク(DNN)のトレーニングにおける初期化の役割
我々は、DNNの一般化に関する説明を提供するために、Information Bottleneck(IB)理論を用いる。
MNISTデータセットを用いた実験により,より高速な収束による一般化性能の向上が期待できることがわかった。
論文 参考訳（メタデータ） (2021-08-14T13:19:43Z) - A novel Deep Neural Network architecture for non-linear system
identification [78.69776924618505]
非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。
メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。
このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
論文 参考訳（メタデータ） (2021-06-06T10:06:07Z) - Multi-Sample Online Learning for Spiking Neural Networks based on
Generalized Expectation Maximization [42.125394498649015]
スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。
本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。
鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
論文 参考訳（メタデータ） (2021-02-05T16:39:42Z) - Neural Representations in Hybrid Recommender Systems: Prediction versus
Regularization [8.384351067134999]
我々は、予測のための神経表現(NRP)フレームワークを定義し、オートエンコーダベースのレコメンデーションシステムに適用する。
また、NRPフレームワークを、ユーザやアイテム情報を再構成することなく評価を予測できる直接ニューラルネットワーク構造に適用する。
その結果、ニューラル表現は正規化よりも予測に優れており、NRPフレームワークと直接ニューラルネットワーク構造が組み合わさって、予測タスクにおける最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2020-10-12T23:12:49Z) - Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。
この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。
この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
論文 参考訳（メタデータ） (2020-08-19T12:35:55Z) - Persistent Neurons [4.061135251278187]
本稿では,学習課題を最適化するトラジェクトリベースの戦略を提案する。
永続ニューロンは、決定論的誤差項によって個々の更新が破損する勾配情報バイアスを持つ方法とみなすことができる。
完全かつ部分的なパーシステンスモデルの評価を行い、NN構造における性能向上に有効であることを示す。
論文 参考訳（メタデータ） (2020-07-02T22:36:49Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。