論文の概要: Statistical limits of dictionary learning: random matrix theory and the spectral replica method

• arxiv url: http://arxiv.org/abs/2109.06610v1
• Date: Tue, 14 Sep 2021 12:02:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-15 23:16:28.265633
• Title: Statistical limits of dictionary learning: random matrix theory and the spectral replica method
• Title（参考訳）: 辞書学習の統計的限界:確率行列理論とスペクトル複製法
• Authors: Jean Barbier and Nicolas Macris
• Abstract要約: ベイズ最適設定における行列記述と辞書学習の複雑なモデルについて考察する。 本稿では, 統計力学とランダム行列理論, スペクトル複製法を組み合わせた新しいレプリカ法を提案する。
• 参考スコア（独自算出の注目度）: 28.54289139061295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider increasingly complex models of matrix denoising and dictionary learning in the Bayes-optimal setting, in the challenging regime where the matrices to infer have a rank growing linearly with the system size. This is in contrast with most existing literature concerned with the low-rank (i.e., constant-rank) regime. We first consider a class of rotationally invariant matrix denoising problems whose mutual information and minimum mean-square error are computable using standard techniques from random matrix theory. Next, we analyze the more challenging models of dictionary learning. To do so we introduce a novel combination of the replica method from statistical mechanics together with random matrix theory, coined spectral replica method. It allows us to conjecture variational formulas for the mutual information between hidden representations and the noisy data as well as for the overlaps quantifying the optimal reconstruction error. The proposed methods reduce the number of degrees of freedom from $\Theta(N^2)$ (matrix entries) to $\Theta(N)$ (eigenvalues or singular values), and yield Coulomb gas representations of the mutual information which are reminiscent of matrix models in physics. The main ingredients are the use of HarishChandra-Itzykson-Zuber spherical integrals combined with a new replica symmetric decoupling ansatz at the level of the probability distributions of eigenvalues (or singular values) of certain overlap matrices.
• Abstract（参考訳）: 我々は、行列がシステムサイズと線形に成長する困難な状況下で、ベイズ最適設定における行列記述と辞書学習の複雑なモデルを考える。 これは、低位制(すなわち定位制)に関する既存の文献のほとんどとは対照的である。 まず,ランダム行列理論の標準手法を用いて,相互情報と最小平均二乗誤差を計算可能な回転不変行列除算問題のクラスを考える。 次に、辞書学習のより困難なモデルを分析する。 そこで本稿では, 統計力学からのレプリカ法と, ランダム行列理論, スペクトル複製法を組み合わせた新しい組み合わせを提案する。 これにより,隠れ表現と雑音データとの相互情報と,最適な再構成誤差を定量化する重なりに関する変分公式を推測することができる。 提案手法は、自由度数を$\theta(n^2)$(行列エントリ)から$\theta(n)$(固有値または特異値)に削減し、物理学における行列モデルを想起させる相互情報のクーロンガス表現を生成する。 主な材料は、ある重なり行列の固有値(または特異値)の確率分布のレベルにおいて、HarishChandra-Itzykson-Zuber 球面積分と新しいレプリカ対称デカップリングアンサッツの組み合わせである。

関連論文リスト

• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
  本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。 得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。 提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
  論文  参考訳（メタデータ） (2022-09-12T04:46:55Z)
• Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
  本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。 6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-21T01:47:17Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Learning a Compressive Sensing Matrix with Structural Constraints via Maximum Mean Discrepancy Optimization [17.104994036477308]
  本稿では,圧縮センシング関連回復問題に対する測定行列を得るための学習に基づくアルゴリズムを提案する。 ニューラルネットワーク関連のトピックにおけるこのようなメトリクスの最近の成功は、機械学習に基づく問題の解決策を動機付けている。
  論文  参考訳（メタデータ） (2021-10-14T08:35:54Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Information-Theoretic Limits for the Matrix Tensor Product [8.206394018475708]
  本稿では,ランダム行列の行列テンソル積を含む高次元推論問題について検討する。 本稿では,高次元行列保存信号の解析のための新しい手法を紹介する。
  論文  参考訳（メタデータ） (2020-05-22T17:03:48Z)
• Mixture model for designs in high dimensional regression and the LASSO [0.0]
  LASSOは、回帰モデル bean y & = & Xbeta + z, eean における変数選択の技法である。 本稿では,カラムの潜在的クラスタ化の性質を自然な方法で捉えることができる設計行列の混合モデルを提案する。
  論文  参考訳（メタデータ） (2012-10-17T15:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。