論文の概要: Variance Reduction for Matrix Computations with Applications to Gaussian Processes

• arxiv url: http://arxiv.org/abs/2106.14565v3
• Date: Sun, 26 Mar 2023 08:32:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 04:09:57.613945
• Title: Variance Reduction for Matrix Computations with Applications to Gaussian Processes
• Title（参考訳）: 行列計算の分散還元とガウス過程への応用
• Authors: Anant Mathur, Sarat Moka and Zdravko Botev
• Abstract要約: 本稿では,行列分解による行列計算の分散化に着目する。 行列の平方根因数分解の計算は、いくつかの重要な場合において、任意により良い性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In addition to recent developments in computing speed and memory, methodological advances have contributed to significant gains in the performance of stochastic simulation. In this paper, we focus on variance reduction for matrix computations via matrix factorization. We provide insights into existing variance reduction methods for estimating the entries of large matrices. Popular methods do not exploit the reduction in variance that is possible when the matrix is factorized. We show how computing the square root factorization of the matrix can achieve in some important cases arbitrarily better stochastic performance. In addition, we propose a factorized estimator for the trace of a product of matrices and numerically demonstrate that the estimator can be up to 1,000 times more efficient on certain problems of estimating the log-likelihood of a Gaussian process. Additionally, we provide a new estimator of the log-determinant of a positive semi-definite matrix where the log-determinant is treated as a normalizing constant of a probability density.
• Abstract（参考訳）: 近年の計算速度とメモリの発達に加え、方法論的進歩は確率シミュレーションの性能向上に寄与している。 本稿では,行列分解による行列計算の分散化に着目した。 大規模行列のエントリを推定するための既存の分散低減手法に関する洞察を提供する。 一般的な手法では、行列が因子化されるときに可能な分散の低減は利用しない。 行列の正方根因数分解の計算がいくつかの重要な場合において任意に優れた確率的性能を達成することを示す。 さらに,行列の積のトレースに対する因子推定器を提案し,ガウス過程の対数類似度を推定する特定の問題に対して最大1000倍の効率で推定できることを示した。 さらに,対数決定式を確率密度の正規化定数として扱う正の半定値行列の対数決定式の新たな推定器を提供する。

関連論文リスト

• Doubly Non-Central Beta Matrix Factorization for Stable Dimensionality Reduction of Bounded Support Matrix Data [1.9867801428140066]
  データ行列をタッカー表現に分解し、構成因子行列の列数が制約されないようにする。 タッカー分解のための計算効率の良いサンプリングアルゴリズムを導出する。 安定性の向上により、科学的仮説の生成とテストに構成因子が使用される場合の信頼性が向上する。
  論文  参考訳（メタデータ） (2024-10-24T04:24:47Z)
• Statistical Inference For Noisy Matrix Completion Incorporating Auxiliary Information [3.9748528039819977]
  本稿では,半教師付きモデルにおける雑音行列補完の統計的推測について検討する。 検討した文脈において,反復最小二乗(LS)推定手法を適用した。 提案手法は数回の反復しか必要とせず、結果として得られる低ランク行列と係数行列のエントリーワイズ推定器は正規分布を持つことが保証されている。
  論文  参考訳（メタデータ） (2024-03-22T01:06:36Z)
• Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning [53.445068584013896]
  低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。 低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。 簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-10T17:06:41Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Neural incomplete factorization: learning preconditioners for the conjugate gradient method [2.899792823251184]
  我々は、効率的なプレコンディショナーの生成を加速するためのデータ駆動型アプローチを開発する。 一般的に手動のプリコンディショナーをグラフニューラルネットワークの出力に置き換える。 本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
  論文  参考訳（メタデータ） (2023-05-25T11:45:46Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Robust Regularized Low-Rank Matrix Models for Regression and Classification [14.698622796774634]
  本稿では,ランク制約,ベクトル正規化(疎性など),一般損失関数に基づく行列変分回帰モデルのフレームワークを提案する。 アルゴリズムは収束することが保証されており、アルゴリズムのすべての累積点が$O(sqrtn)$100の順序で推定誤差を持ち、最小値の精度をほぼ達成していることを示す。
  論文  参考訳（メタデータ） (2022-05-14T18:03:48Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Adversarially-Trained Nonnegative Matrix Factorization [77.34726150561087]
  非負行列ファクタリゼーションの逆学習版を検討する。 我々の定式化では、攻撃者は与えられたデータ行列に有界ノルムの任意の行列を追加する。 辞書と係数行列を最適化するために, 逆学習に触発された効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-04-10T13:13:17Z)
• Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform [64.90148466525754]
  最小二乗問題に対する反復スケッチの性能について検討する。 本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。 これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
  論文  参考訳（メタデータ） (2020-02-03T16:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。