論文の概要: The Decimation Scheme for Symmetric Matrix Factorization
- arxiv url: http://arxiv.org/abs/2307.16564v1
- Date: Mon, 31 Jul 2023 10:53:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 14:49:42.030350
- Title: The Decimation Scheme for Symmetric Matrix Factorization
- Title（参考訳）: 対称行列分解の定式化手法
- Authors: Francesco Camilli, Marc M\'ezard
- Abstract要約: 行列分解(Matrix factorization)は、その広範囲な応用により重要になった推論問題である。
我々はこの広範囲なランク問題について研究し、最近導入した代替の「決定」手順を拡張した。
本稿では,デシメーションを実装し,行列分解を行う基底状態探索に基づく簡単なアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Matrix factorization is an inference problem that has acquired importance due
to its vast range of applications that go from dictionary learning to
recommendation systems and machine learning with deep networks. The study of
its fundamental statistical limits represents a true challenge, and despite a
decade-long history of efforts in the community, there is still no closed
formula able to describe its optimal performances in the case where the rank of
the matrix scales linearly with its size. In the present paper, we study this
extensive rank problem, extending the alternative 'decimation' procedure that
we recently introduced, and carry out a thorough study of its performance.
Decimation aims at recovering one column/line of the factors at a time, by
mapping the problem into a sequence of neural network models of associative
memory at a tunable temperature. Though being sub-optimal, decimation has the
advantage of being theoretically analyzable. We extend its scope and analysis
to two families of matrices. For a large class of compactly supported priors,
we show that the replica symmetric free entropy of the neural network models
takes a universal form in the low temperature limit. For sparse Ising prior, we
show that the storage capacity of the neural network models diverges as
sparsity in the patterns increases, and we introduce a simple algorithm based
on a ground state search that implements decimation and performs matrix
factorization, with no need of an informative initialization.
- Abstract（参考訳）: 行列分解(matrix factorization)は、辞書学習からレコメンデーションシステム、深層ネットワークを用いた機械学習に至るまで、幅広い応用によって重要になった推論問題である。
基本的な統計学的限界の研究は真の挑戦であり、コミュニティにおける10年にわたる努力にもかかわらず、行列の階数がその大きさで線形にスケールする場合において、その最適性能を記述できる閉じた公式は存在しない。
本稿では,この広範なランク問題について検討し,最近導入した代替の「決定」手順を拡張し,その性能を徹底的に研究する。
デシメーションは、問題を調整可能な温度で連想メモリの一連のニューラルネットワークモデルにマッピングすることで、一度に1つの要素のカラム/ラインを回復することを目的としている。
準最適であるが、デシメーションは理論的に解析可能であるという利点がある。
我々はその範囲と分析を2種類の行列に拡張する。
大規模に支持された先行モデルに対して、ニューラルネットワークモデルのレプリカ対称自由エントロピーは、低温限界において普遍的な形を取ることを示す。
スパース・イジング(sparse ising)については,パターンのスパース性が増大するにつれてニューラルネットワークモデルの記憶容量が分散することを示すとともに,デシメーションを実装して行列因子化を行う基底状態探索に基づく単純なアルゴリズムを提案する。
関連論文リスト
- Neural incomplete factorization: learning preconditioners for the conjugate gradient method [2.899792823251184]
我々は、効率的なプレコンディショナーの生成を加速するためのデータ駆動型アプローチを開発する。
一般的に手動のプリコンディショナーをグラフニューラルネットワークの出力に置き換える。
本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
論文 参考訳（メタデータ） (2023-05-25T11:45:46Z) - Matrix factorization with neural networks [0.0]
連想記憶のニューラルネットワークモデルにマッピングする新しいデシメーション方式を導入する。
我々は,デシメーションが広範囲の行列を分解し,効率的にデシメーションすることができることを示した。
論文 参考訳（メタデータ） (2022-12-05T08:58:56Z) - Graph Polynomial Convolution Models for Node Classification of
Non-Homophilous Graphs [52.52570805621925]
本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。
得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。
提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
論文 参考訳（メタデータ） (2022-09-12T04:46:55Z) - Learning a Compressive Sensing Matrix with Structural Constraints via
Maximum Mean Discrepancy Optimization [17.104994036477308]
本稿では,圧縮センシング関連回復問題に対する測定行列を得るための学習に基づくアルゴリズムを提案する。
ニューラルネットワーク関連のトピックにおけるこのようなメトリクスの最近の成功は、機械学習に基づく問題の解決策を動機付けている。
論文 参考訳（メタデータ） (2021-10-14T08:35:54Z) - Multiple Kernel Representation Learning on Networks [12.106994960669924]
ネットワークのノードに関するランダムな歩行に基づく情報を符号化する重み付き行列分解モデルを提案する。
我々は、カーネルの辞書の線形結合としてカーネルを学習する柔軟性を提供する複数のカーネル学習定式化により、アプローチを拡張した。
論文 参考訳（メタデータ） (2021-06-09T13:22:26Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Nonasymptotic Guarantees for Spiked Matrix Recovery with Generative
Priors [12.798687476698063]
そこで本研究では,低ランク成分が訓練された生成ネットワークの範囲内にある場合について検討する。
非線形最小二乗の目的に対して好適な大域的最適化の展望を確立する。
この結果から、生成前兆は構造化されたランク1行列回復のための計算と統計のギャップを持たないことが示唆された。
論文 参考訳（メタデータ） (2020-06-14T16:46:16Z) - Eigendecomposition-Free Training of Deep Networks for Linear
Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。
この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。
我々の手法は収束特性が良く、最先端の結果が得られます。
論文 参考訳（メタデータ） (2020-04-15T04:29:34Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。