論文の概要: Mini-Hes: A Parallelizable Second-order Latent Factor Analysis Model

• arxiv url: http://arxiv.org/abs/2402.11948v1
• Date: Mon, 19 Feb 2024 08:43:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 17:26:16.596048
• Title: Mini-Hes: A Parallelizable Second-order Latent Factor Analysis Model
• Title（参考訳）: Mini-Hes: 並列化可能な2次潜在因子分析モデル
• Authors: Jialiang Wang, Weiling Li, Yurong Zhong, Xin Luo
• Abstract要約: 本稿では,LFAモデル構築のためのミニブロック対角ヘシアンフリー(Mini-Hes)最適化を提案する。 実験結果から,Mini-Hesでは,LFAモデルは欠落したデータ推定タスクに対処する上で,いくつかの最先端モデルよりも優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 8.06111903129142
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interactions among large number of entities is naturally high-dimensional and incomplete (HDI) in many big data related tasks. Behavioral characteristics of users are hidden in these interactions, hence, effective representation of the HDI data is a fundamental task for understanding user behaviors. Latent factor analysis (LFA) model has proven to be effective in representing HDI data. The performance of an LFA model relies heavily on its training process, which is a non-convex optimization. It has been proven that incorporating local curvature and preprocessing gradients during its training process can lead to superior performance compared to LFA models built with first-order family methods. However, with the escalation of data volume, the feasibility of second-order algorithms encounters challenges. To address this pivotal issue, this paper proposes a mini-block diagonal hessian-free (Mini-Hes) optimization for building an LFA model. It leverages the dominant diagonal blocks in the generalized Gauss-Newton matrix based on the analysis of the Hessian matrix of LFA model and serves as an intermediary strategy bridging the gap between first-order and second-order optimization methods. Experiment results indicate that, with Mini-Hes, the LFA model outperforms several state-of-the-art models in addressing missing data estimation task on multiple real HDI datasets from recommender system. (The source code of Mini-Hes is available at https://github.com/Goallow/Mini-Hes)
• Abstract（参考訳）: 多数のエンティティ間の相互作用は、多くのビッグデータ関連タスクにおいて自然に高次元かつ不完全である。 ユーザの行動特性はこれらの相互作用に隠されているため,HDIデータの効果的な表現はユーザの行動を理解するための基本的な課題である。 潜在因子分析(LFA)モデルはHDIデータの表現に有効であることが証明されている。 LFAモデルの性能は、非凸最適化であるトレーニングプロセスに大きく依存している。 学習過程中に局所曲率と前処理勾配を組み込むことで,一階法で構築したLFAモデルよりも優れた性能が得られることが証明されている。 しかし、データ量の増加に伴い、二階アルゴリズムの実現可能性には困難が伴う。 そこで本研究では,LFAモデル構築のための最小ブロック対角ヘシアンフリー(Mini-Hes)最適化を提案する。 一般化されたガウス・ニュートン行列の主対角ブロックを LFA モデルのヘッセン行列の解析に基づいて利用し、一階最適化と二階最適化のギャップを埋める中間戦略として機能する。 実験結果から,Mini-Hesでは,レコメンダシステムからの複数の実HDIデータセットの欠落したデータ推定タスクに対処する上で,LFAモデルはいくつかの最先端モデルよりも優れていた。 (Mini-Hesのソースコードはhttps://github.com/Goallow/Mini-Hes)。

関連論文リスト

• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Fast Latent Factor Analysis via a Fuzzy PID-Incorporated Stochastic Gradient Descent Algorithm [1.984879854062214]
  勾配降下(SGD)に基づく潜在因子分析モデルは,HDI行列から貴重な情報を抽出するのに極めて有効である。 標準SGDアルゴリズムは、過去の更新情報を考慮せずに、現在のインスタンスエラーの勾配に依存する潜在因子を学習する。 本稿では, ファジィPIDを組み込んだSGDアルゴリズムを2つのアイデアで提案する: 1) 過去の更新情報をPIDの原則に従って効率的な方法で再設計し, 2) ハイパーラーニングを実装し, ファジィ規則に従う適応を得る。
  論文  参考訳（メタデータ） (2023-03-07T14:51:09Z)
• uGLAD: Sparse graph recovery by optimizing deep unrolled networks [11.48281545083889]
  深層ネットワークを最適化してスパースグラフ復元を行う新しい手法を提案する。 我々のモデルであるuGLADは、最先端モデルGLADを教師なし設定に構築し、拡張します。 我々は, 遺伝子調節ネットワークから生成した合成ガウスデータ, 非ガウスデータを用いて, モデル解析を行い, 嫌気性消化の事例研究を行った。
  論文  参考訳（メタデータ） (2022-05-23T20:20:27Z)
• Graph-incorporated Latent Factor Analysis for High-dimensional and Sparse Matrices [9.51012204233452]
  高次元かつスパース(HiDS)行列は、eコマースシステムやソーシャルネットワークサービスシステムのようなビッグデータ関連アプリケーションで頻繁に発生する。 本稿では,HiDS行列上で表現学習を行うために,グラフを組み込んだ潜在因子分析(GLFA)モデルを提案する。 実世界の3つのデータセットの実験結果から、GLFAはHiDS行列の欠落データを予測する6つの最先端モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-04-16T15:04:34Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach [55.44107800525776]
  グラフ畳み込みネットワーク(GCN)は、最先端のグラフベースの表現学習モデルである。 本稿では、GCNベースの協調フィルタリング(CF)ベースのレコメンダシステム(RS)について再検討する。 単純なグラフ畳み込みネットワークの理論と整合して,非線形性を取り除くことで推奨性能が向上することを示す。 本稿では,ユーザ・イテム相互作用モデリングを用いたCF用に特別に設計された残差ネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2020-01-28T04:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。