論文の概要: It's Enough: Relaxing Diagonal Constraints in Linear Autoencoders for Recommendation

• arxiv url: http://arxiv.org/abs/2305.12922v1
• Date: Mon, 22 May 2023 11:09:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 16:41:57.450414
• Title: It's Enough: Relaxing Diagonal Constraints in Linear Autoencoders for Recommendation
• Title（参考訳）: 推奨のための線形オートエンコーダにおける対角的制約の緩和
• Authors: Jaewan Moon, Hye-young Kim, and Jongwuk Lee
• Abstract要約: 本稿では,線形オートエンコーダにおける2項の性質を理論的に理解することを目的とする。 本稿では,RLAE(Relaxed Linear AutoEncoder)とRDLAE(Relaxed Denoising Linear AutoEncoder)と呼ばれる,対角不等式制約を用いた単純なyet効率の線形オートエンコーダモデルを提案する。 実験の結果、我々のモデルは6つのベンチマークデータセット上で、最先端の線形モデルと非線形モデルに匹敵するか、優れていることが示された。
• 参考スコア（独自算出の注目度）: 4.8802420827610025
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Linear autoencoder models learn an item-to-item weight matrix via convex optimization with L2 regularization and zero-diagonal constraints. Despite their simplicity, they have shown remarkable performance compared to sophisticated non-linear models. This paper aims to theoretically understand the properties of two terms in linear autoencoders. Through the lens of singular value decomposition (SVD) and principal component analysis (PCA), it is revealed that L2 regularization enhances the impact of high-ranked PCs. Meanwhile, zero-diagonal constraints reduce the impact of low-ranked PCs, leading to performance degradation for unpopular items. Inspired by this analysis, we propose simple-yet-effective linear autoencoder models using diagonal inequality constraints, called Relaxed Linear AutoEncoder (RLAE) and Relaxed Denoising Linear AutoEncoder (RDLAE). We prove that they generalize linear autoencoders by adjusting the degree of diagonal constraints. Experimental results demonstrate that our models are comparable or superior to state-of-the-art linear and non-linear models on six benchmark datasets; they significantly improve the accuracy of long-tail items. These results also support our theoretical insights on regularization and diagonal constraints in linear autoencoders.
• Abstract（参考訳）: 線形オートエンコーダモデルは、L2正規化とゼロ対角制約による凸最適化により、アイテムからアイテムまでの重み行列を学習する。 単純さにもかかわらず、洗練された非線形モデルと比較して優れた性能を示している。 本稿では,線形オートエンコーダにおける2項の性質を理論的に理解することを目的とする。 特異値分解レンズ (SVD) と主成分分析 (PCA) により, L2正則化により高階PCの影響が促進されることが明らかとなった。 一方、ゼロ対角制約は低ランクpcの影響を減少させ、不人気アイテムのパフォーマンスを低下させる。 本研究では, 対角不等式制約(RLAE)とRelaxed Denoising Linear AutoEncoder(RDLAE)という, 単純なyet効率の線形自己エンコーダモデルを提案する。 対角制約の程度を調整して線形オートエンコーダを一般化することを証明する。 実験結果から,本モデルが6つのベンチマークデータセット上で,最先端の線形モデルや非線形モデルと同等か優れていることが示された。 これらの結果は線形オートエンコーダの正則化と対角的制約に関する理論的知見も裏付ける。

関連論文リスト

• DSTC: Direct Preference Learning with Only Self-Generated Tests and Code to Improve Code LMs [56.24431208419858]
  UnderlinetextbfDirect Preference Learning with only underlinetextbfSelf-Generated underlinetextbfTests and underlinetextbfCode (DSTC)を紹介する。 DSTCは自己生成コードスニペットとテストのみを使用して信頼性の高い選好ペアを構築する。
  論文  参考訳（メタデータ） (2024-11-20T02:03:16Z)
• Breaking the Low-Rank Dilemma of Linear Attention [61.55583836370135]
  線形注意(linear attention)は、複雑性を線形レベルに還元することで、はるかに効率的なソリューションを提供する。 実験により, この性能低下は, 線形アテンションの特徴マップの低ランク性に起因することが示唆された。 我々は,線形複雑性と高効率を維持しつつ,Softmaxの注目性能に匹敵するランク拡張線形注意(RALA)を導入する。
  論文  参考訳（メタデータ） (2024-11-12T08:30:59Z)
• Implicit ZCA Whitening Effects of Linear Autoencoders for Recommendation [10.374400063702392]
  線形オートエンコーダモデルとZCAホワイトニングの関連性を示す。 また,埋め込み手法を用いて得られる低次元項目ベクトルに対して線形オートエンコーダを適用することの正当性を示す。
  論文  参考訳（メタデータ） (2023-08-15T07:58:22Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)
• On the Regularization of Autoencoders [14.46779433267854]
  教師なし設定自体が、学習されたオートエンコーダのモデル容量の大幅な削減という、強い正規化を誘導することを示す。 深部非線形オートエンコーダは、両方のモデルが最終層に同じ次元を持つ場合、線形オートエンコーダよりも正確にトレーニングデータに適合できない。 3つのよく知られたデータセットに対する実験において、すべてのモデルランクに対して正確な近似であることを示す。
  論文  参考訳（メタデータ） (2021-10-21T18:28:25Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• An autoencoder-based reduced-order model for eigenvalue problems with application to neutron diffusion [0.0]
  本稿では,次元減少のためのオートエンコーダを用いて,固有値問題に対する新規なプロジェクションベースリダクションモデルを提案する。 還元次モデリングは、高次元系が近似される低次元空間を定義する適切な基底関数を見つけることに依存する。
  論文  参考訳（メタデータ） (2020-08-15T16:52:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。