論文の概要: Linear, or Non-Linear, That is the Question!
- arxiv url: http://arxiv.org/abs/2111.07265v1
- Date: Sun, 14 Nov 2021 07:56:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-16 14:29:53.546644
- Title: Linear, or Non-Linear, That is the Question!
- Title（参考訳）: 線形、または非線形、それは質問です!
- Authors: Taeyong Kong, Taeri Kim, Jinsung Jeon, Jeongwhan Choi, Yeon-Chang Lee,
Noseong Park, Sang-Wook Kim
- Abstract要約: 近年, 線形埋め込み伝播は非線形埋め込み伝播よりも精度が高いことが判明した。
本稿では,HMLET(Hybrid Method of Linear and non-linEar collaborative filTering method)を提案する。
提案モデルは3つの公開ベンチマークデータセットで最高の精度が得られる。
- 参考スコア（独自算出の注目度）: 11.999419678052186
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: There were fierce debates on whether the non-linear embedding propagation of
GCNs is appropriate to GCN-based recommender systems. It was recently found
that the linear embedding propagation shows better accuracy than the non-linear
embedding propagation. Since this phenomenon was discovered especially in
recommender systems, it is required that we carefully analyze the linearity and
non-linearity issue. In this work, therefore, we revisit the issues of i) which
of the linear or non-linear propagation is better and ii) which factors of
users/items decide the linearity/non-linearity of the embedding propagation. We
propose a novel Hybrid Method of Linear and non-linEar collaborative filTering
method (HMLET, pronounced as Hamlet). In our design, there exist both linear
and non-linear propagation steps, when processing each user or item node, and
our gating module chooses one of them, which results in a hybrid model of the
linear and non-linear GCN-based collaborative filtering (CF). The proposed
model yields the best accuracy in three public benchmark datasets. Moreover, we
classify users/items into the following three classes depending on our gating
modules' selections: Full-Non-Linearity (FNL), Partial-Non-Linearity (PNL), and
Full-Linearity (FL). We found that there exist strong correlations between
nodes' centrality and their class membership, i.e., important user/item nodes
exhibit more preferences towards the non-linearity during the propagation
steps. To our knowledge, we are the first who designs a hybrid method and
reports the correlation between the graph centrality and the
linearity/non-linearity of nodes. All HMLET codes and datasets are available
at: https://github.com/qbxlvnf11/HMLET.
- Abstract（参考訳）: GCNの非線形埋め込み伝播がGCNベースのレコメンデータシステムに適切かどうかについては激しい議論があった。
近年, 線形埋め込み伝播は非線形埋め込み伝播よりも精度が高いことが判明した。
この現象は特にレコメンダシステムで発見されたため,線形性と非線形性の問題について慎重に分析する必要がある。
この研究において、我々は問題を再考する。
一 直線的又は非線形的伝播のどちらがよいか、及び
二 埋め込み伝播の線形性又は非線形性を決定するユーザ・項目の要因
本稿では,HMLET(Hybrid Method of Linear and non-linEar collaborative filTering method)を提案する。
本設計では,各ユーザまたはアイテムノードを処理する場合,線形および非線形の伝搬ステップがあり,ガティングモジュールはそれらのうちの1つを選択し,線形および非線形gcnに基づく協調フィルタリング(cf)のハイブリッドモデルを生成する。
提案モデルは3つの公開ベンチマークデータセットで最高の精度が得られる。
さらに、ユーザ/イテムは、ゲーティングモジュールの選択によって、FNL(Full-Non-Linearity)、PNL(Partial-Non-Linearity)、FL(Full-Linearity)の3つのクラスに分類する。
その結果、ノードの集中性とクラスメンバシップとの間には強い相関関係があること、すなわち、重要なユーザ/テーマノードは伝播ステップにおいて非線形性に対してより好意的であることが判明した。
我々の知る限りでは,ハイブリッド手法を最初に設計し,グラフ中心性とノードの線形性/非線型性の関係を報告する。
すべてのHMLETコードは、https://github.com/qbxlvnf11/HMLETで利用可能である。
関連論文リスト
- MetaLA: Unified Optimal Linear Approximation to Softmax Attention Map [42.396856648479314]
リニアトランス(LinFormer)、ステートスペースモデル(SSM)、リニアRNN(LinRNN)は、トランスフォーマー構造における従来のソフトマックスアテンションを置き換えるために提案されている。
現在の線形モデルはいずれも3つの条件をすべて満たさず、結果として準最適性能が得られる。
我々は,Multi-Query Associative Recall(MQAR)タスク,言語モデリング,画像分類,Long-Range Arenaベンチマークを用いて,MetaLAが既存の線形モデルよりも有効であることを実証した。
論文 参考訳（メタデータ） (2024-11-16T08:47:32Z) - Ordering-Based Causal Discovery for Linear and Nonlinear Relations [7.920599542957298]
CaPSは線形および非線形関係を効果的に扱う順序付けに基づく因果探索アルゴリズムである。
実世界のデータから得られた結果は、CaPSの競争力にも寄与する。
論文 参考訳（メタデータ） (2024-10-08T10:33:18Z) - FusionDeepMF: A Dual Embedding based Deep Fusion Model for
Recommendation [0.0]
本稿では,FusionDeepMFという新しい深層融合モデルを提案する。
オンラインレビューデータセットの実験は、FusionDeepMFが他のベースラインアプローチと比較して驚くほど未来的であることを証明している。
論文 参考訳（メタデータ） (2022-10-11T11:00:56Z) - Optimization-Induced Graph Implicit Nonlinear Diffusion [64.39772634635273]
我々はGIND(Graph Implicit Diffusion)と呼ばれる新しいグラフ畳み込み変種を提案する。
GINDは暗黙的に隣人の無限のホップにアクセスでき、非線型拡散を伴う特徴を適応的に集約することで過度な平滑化を防いでいる。
学習された表現は、明示的な凸最適化目標の最小化として定式化できることを示す。
論文 参考訳（メタデータ） (2022-06-29T06:26:42Z) - Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。
線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
論文 参考訳（メタデータ） (2022-06-15T22:42:29Z) - Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。
サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。
この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
論文 参考訳（メタデータ） (2022-03-22T13:09:17Z) - Learning Generative Prior with Latent Space Sparsity Constraints [25.213673771175692]
自然像の分布は1つの多様体にではなく、むしろいくつかの部分多様体の結合にあると論じられている。
本稿では,スペーサ性駆動型潜時空間サンプリング(SDLSS)フレームワークを提案し,PMLアルゴリズムを用いて潜時空間のスペーサ性を実現する。
その結果, SDLSS法は, 高次圧縮では最先端法よりも効率が高いことがわかった。
論文 参考訳（メタデータ） (2021-05-25T14:12:04Z) - Dissecting the Diffusion Process in Linear Graph Convolutional Networks [71.30132908130581]
近年、グラフ畳み込みネットワーク(GCN)が注目を集めています。
最近の研究は、線形GCNが元の非線形GCNに匹敵する性能が得られることを示している。
DGC(Decoupled Graph Convolution)を提案し,端末時間と機能伝播ステップを分離する。
論文 参考訳（メタデータ） (2021-02-22T02:45:59Z) - LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
論文 参考訳（メタデータ） (2020-12-21T06:40:20Z) - WICA: nonlinear weighted ICA [72.02008296553318]
独立成分分析(ICA)は、データのコンポーネントが独立している座標系を見つけることを目的としている。
我々は、WICAと呼ばれる新しい非線形ICAモデルを構築し、他のアルゴリズムよりも優れた、より安定した結果を得る。
論文 参考訳（メタデータ） (2020-01-13T10:38:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。