論文の概要: A Dynamic Linear Bias Incorporation Scheme for Nonnegative Latent Factor
Analysis
- arxiv url: http://arxiv.org/abs/2309.10618v1
- Date: Tue, 19 Sep 2023 13:48:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 14:11:29.619748
- Title: A Dynamic Linear Bias Incorporation Scheme for Nonnegative Latent Factor
Analysis
- Title（参考訳）: 非負の潜在因子分析のための動的線形バイアス組込みスキーム
- Authors: Yurong Zhong, Zhe Xie, Weiling Li and Xin Luo
- Abstract要約: HDIデータは、ソーシャルネットワークサービスシステムのようなビッグデータ関連のアプリケーションでよく見られる。
非負の潜在因子分析(NLFA)モデルはこの問題に対処する上で優位性を持つことが証明されている。
本稿では,動的線形バイアス包含方式を革新的に提案する。
- 参考スコア（独自算出の注目度）: 5.029743143286546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-Dimensional and Incomplete (HDI) data is commonly encountered in big
data-related applications like social network services systems, which are
concerning the limited interactions among numerous nodes. Knowledge acquisition
from HDI data is a vital issue in the domain of data science due to their
embedded rich patterns like node behaviors, where the fundamental task is to
perform HDI data representation learning. Nonnegative Latent Factor Analysis
(NLFA) models have proven to possess the superiority to address this issue,
where a linear bias incorporation (LBI) scheme is important in present the
training overshooting and fluctuation, as well as preventing the model from
premature convergence. However, existing LBI schemes are all statistic ones
where the linear biases are fixed, which significantly restricts the
scalability of the resultant NLFA model and results in loss of representation
learning ability to HDI data. Motivated by the above discoveries, this paper
innovatively presents the dynamic linear bias incorporation (DLBI) scheme. It
firstly extends the linear bias vectors into matrices, and then builds a binary
weight matrix to switch the active/inactive states of the linear biases. The
weight matrix's each entry switches between the binary states dynamically
corresponding to the linear bias value variation, thereby establishing the
dynamic linear biases for an NLFA model. Empirical studies on three HDI
datasets from real applications demonstrate that the proposed DLBI-based NLFA
model obtains higher representation accuracy several than state-of-the-art
models do, as well as highly-competitive computational efficiency.
- Abstract（参考訳）: 高次元および不完全(HDI)データは、多くのノード間の限られた相互作用に関するソーシャルネットワークサービスシステムのようなビッグデータ関連のアプリケーションでよく見られる。
HDIデータからの知識獲得は、ノードの振る舞いのようなリッチなパターンが組み込まれているため、データサイエンスの領域において重要な問題である。
非負の潜在因子分析(nlfa)モデルは、トレーニングオーバーシューティングとゆらぎの提示とモデルが早期収束を防止するために、線形バイアスインコーポレーション(lbi)スキームが重要であるため、この問題に対処するための優位性を持つことが証明されている。
しかし、既存のLBIスキームは、線形バイアスが固定された統計モデルであり、結果のNLFAモデルのスケーラビリティを著しく制限し、HDIデータへの表現学習能力の喪失をもたらす。
上記の発見に動機づけられ,本稿では動的線形バイアス組込み(dlbi)方式を革新的に提示する。
まず、線形バイアスベクトルを行列に拡張し、次に二元重み行列を構築し、線形バイアスのアクティブ/非アクティブ状態を切り替える。
重み行列の各エントリは、線形バイアス値の変動に対応する二項状態間で動的に切り替わり、NLFAモデルに対する動的線形バイアスを確立する。
実応用からの3つのhdiデータセットに関する実証研究は、dlbiベースのnlfaモデルが最先端モデルよりも数倍高い表現精度と高い競合性を持つことを示した。
関連論文リスト
- Proximal Symmetric Non-negative Latent Factor Analysis: A Novel Approach
to Highly-Accurate Representation of Undirected Weighted Networks [2.1797442801107056]
Undirected Weighted Network (UWN) は、ビッグデータ関連のアプリケーションで一般的に見られる。
既存のモデルは本質対称性や低データ密度のモデル化に失敗する。
近軸対称非負の潜在因子分析モデルを提案する。
論文 参考訳（メタデータ） (2023-06-06T13:03:24Z) - A Momentum-Incorporated Non-Negative Latent Factorization of Tensors
Model for Dynamic Network Representation [0.0]
大規模動的ネットワーク (LDN) は、多くのビッグデータ関連アプリケーションにおけるデータソースである。
テンソル(LFT)モデルの潜在因子化は、この時間パターンを効率的に抽出する。
勾配降下(SGD)解法に基づくLFTモデルは、トレーニングスキームによって制限されることが多く、尾収束が弱い。
本稿では,運動量付きSGDに基づく非線形LFTモデル(MNNL)を提案する。
論文 参考訳（メタデータ） (2023-05-04T12:30:53Z) - How robust are pre-trained models to distribution shift? [82.08946007821184]
自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。
本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
論文 参考訳（メタデータ） (2022-06-17T16:18:28Z) - Graph-incorporated Latent Factor Analysis for High-dimensional and
Sparse Matrices [9.51012204233452]
高次元かつスパース(HiDS)行列は、eコマースシステムやソーシャルネットワークサービスシステムのようなビッグデータ関連アプリケーションで頻繁に発生する。
本稿では,HiDS行列上で表現学習を行うために,グラフを組み込んだ潜在因子分析(GLFA)モデルを提案する。
実世界の3つのデータセットの実験結果から、GLFAはHiDS行列の欠落データを予測する6つの最先端モデルより優れていることが示された。
論文 参考訳（メタデータ） (2022-04-16T15:04:34Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳（メタデータ） (2021-12-20T14:47:32Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
論文 参考訳（メタデータ） (2020-12-21T06:40:20Z) - Causality-aware counterfactual confounding adjustment for feature
representations learned by deep models [14.554818659491644]
因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。
深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
論文 参考訳（メタデータ） (2020-04-20T17:37:36Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z) - Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。
そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。
画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
論文 参考訳（メタデータ） (2020-02-18T17:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。