論文の概要: Spectral Estimation with Free Decompression

• arxiv url: http://arxiv.org/abs/2506.11994v1
• Date: Fri, 13 Jun 2025 17:49:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.907018
• Title: Spectral Estimation with Free Decompression
• Title（参考訳）: 自由分解によるスペクトル推定
• Authors: Siavash Ameli, Chris van der Heide, Liam Hodgkinson, Michael W. Mahoney,
• Abstract要約: 非常に大きな(可逆な)行列のスペクトルを推定する「自由減圧」の新たな手法を提案する。 提案手法は, 極大(非可逆)行列の固有スペクトルを推定するために, 小型サブマトリクスの実験的スペクトル密度から外挿することができる。
• 参考スコア（独自算出の注目度）: 47.81955761814048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computing eigenvalues of very large matrices is a critical task in many machine learning applications, including the evaluation of log-determinants, the trace of matrix functions, and other important metrics. As datasets continue to grow in scale, the corresponding covariance and kernel matrices become increasingly large, often reaching magnitudes that make their direct formation impractical or impossible. Existing techniques typically rely on matrix-vector products, which can provide efficient approximations, if the matrix spectrum behaves well. However, in settings like distributed learning, or when the matrix is defined only indirectly, access to the full data set can be restricted to only very small sub-matrices of the original matrix. In these cases, the matrix of nominal interest is not even available as an implicit operator, meaning that even matrix-vector products may not be available. In such settings, the matrix is "impalpable," in the sense that we have access to only masked snapshots of it. We draw on principles from free probability theory to introduce a novel method of "free decompression" to estimate the spectrum of such matrices. Our method can be used to extrapolate from the empirical spectral densities of small submatrices to infer the eigenspectrum of extremely large (impalpable) matrices (that we cannot form or even evaluate with full matrix-vector products). We demonstrate the effectiveness of this approach through a series of examples, comparing its performance against known limiting distributions from random matrix theory in synthetic settings, as well as applying it to submatrices of real-world datasets, matching them with their full empirical eigenspectra.
• Abstract（参考訳）: 非常に大きな行列の固有値を計算することは、ログ行列式の評価、行列関数のトレース、その他の重要なメトリクスを含む多くの機械学習アプリケーションにおいて重要なタスクである。 データセットが大規模に成長し続けるにつれて、対応する共分散とカーネルの行列はますます大きくなり、しばしば直接形成を非現実的または不可能にする大きさに達する。 既存の手法は一般に行列ベクトル積に依存しており、行列スペクトルがうまく振る舞うと、効率的な近似を与えることができる。 しかし、分散学習のような設定や、行列が間接的にのみ定義される場合、完全なデータセットへのアクセスは元の行列のごく小さなサブ行列に限られる。 これらの場合、名目的関心の行列は暗黙の作用素として利用できないので、行列ベクトル積でさえ利用できないかもしれない。 このような設定では、マトリックスは、マスクされたスナップショットのみにアクセスするという意味で、"不変"である。 我々は、自由確率論の原理に基づいて、そのような行列のスペクトルを推定する「自由減圧」という新しい手法を導入する。 提案手法は, 極大(非可燃性)行列の固有スペクトルを推定するために, 小型行列の実験的スペクトル密度から外挿することができる(完全行列ベクトル積では生成・評価できない)。 提案手法の有効性を, 実世界のデータセットのサブマトリクスに応用し, 実環境における確率行列理論からの既知極限分布と比較し, 実世界の固有スペクトルとマッチングする。

関連論文リスト

• Infinitesimal Higher-Order Spectral Variations in Rectangular Real Random Matrices [0.0]
  実矩形行列における特異値の一般$n$-次フレット微分を導出するための理論的枠組みを提案する。 自己随伴作用素に対する加藤の摂動解析理論から還元分解子作用素を利用する。 我々のフレームワークは、ランダム行列応用における高次スペクトル感度研究のための実用的なツールキットを研究者に提供する。
  論文  参考訳（メタデータ） (2025-06-04T09:28:35Z)
• Fast Spectrum Estimation of Some Kernel Matrices [0.0]
  いくつかのカーネル行列に対して新しい固有値量子化推定フレームワークを導入する。 このフレームワークは、完全な行列を構成するコストを回避しつつ、カーネル行列のすべての固有値に対して有意義な境界を与える。 我々は、カーネル関数に一定の制限を課したこのフレームワークの有効性を証明し、その正確性に関する実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-11-01T15:19:54Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Multiresolution kernel matrix algebra [0.0]
  本研究では, あるS形式において, 最適スパース行列を生成するサンプルレットを用いて, カーネル行列の圧縮を示す。 カーネル行列の逆数(もし存在するなら)は S-形式でも圧縮可能である。 行列代数は擬微分計算によって数学的に正当化される。
  論文  参考訳（メタデータ） (2022-11-21T17:50:22Z)
• Robust 1-bit Compressive Sensing with Partial Gaussian Circulant Matrices and Generative Priors [54.936314353063494]
  我々は,ロバストな1ビット圧縮センシングのための相関に基づく最適化アルゴリズムのリカバリ保証を提供する。 我々は,実用的な反復アルゴリズムを用いて,画像データセットの数値実験を行い,結果の相関付けを行う。
  論文  参考訳（メタデータ） (2021-08-08T05:28:06Z)
• Non-PSD Matrix Sketching with Applications to Regression and Optimization [56.730993511802865]
  非PSDおよび2乗根行列の次元削減法を提案する。 複数のダウンストリームタスクにこれらのテクニックをどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2021-06-16T04:07:48Z)
• On Random Matrices Arising in Deep Neural Networks: General I.I.D. Case [0.0]
  本研究では, ニューラルネットワーク解析に係わる無作為行列の積の特異値分布について検討した。 我々は、[22] の結果を一般化するために、[22] の確率行列理論のテクニックの、より簡潔な別のバージョンを使用します。
  論文  参考訳（メタデータ） (2020-11-20T14:39:24Z)
• Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion [101.83262280224729]
  我々は、原子核ノルム正規化行列補完に対する相対誤差を開発する。 未知行列の最適低ランク近似を回復するための相対上界を導出する。
  論文  参考訳（メタデータ） (2015-04-26T13:12:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。