論文の概要: Near optimal sample complexity for matrix and tensor normal models via geodesic convexity

• arxiv url: http://arxiv.org/abs/2110.07583v1
• Date: Thu, 14 Oct 2021 17:47:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 15:25:39.963483
• Title: Near optimal sample complexity for matrix and tensor normal models via geodesic convexity
• Title（参考訳）: 測地線凸性による行列およびテンソル正規モデルの最適サンプル複雑性
• Authors: Cole Franks, Rafael Oliveira, Akshay Ramachandran, Michael Walter
• Abstract要約: いくつかの自然測度において、最大極大推定器(MLE)によって達成された誤差に対する漸近的境界を示す。 サンプルの複雑性境界と同じ条件下では、フリップフロップアルゴリズム(英語版)として知られるMLEを反復的に計算する手法が高い確率で線形に収束することを示す。
• 参考スコア（独自算出の注目度）: 5.191641077435773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The matrix normal model, the family of Gaussian matrix-variate distributions whose covariance matrix is the Kronecker product of two lower dimensional factors, is frequently used to model matrix-variate data. The tensor normal model generalizes this family to Kronecker products of three or more factors. We study the estimation of the Kronecker factors of the covariance matrix in the matrix and tensor models. We show nonasymptotic bounds for the error achieved by the maximum likelihood estimator (MLE) in several natural metrics. In contrast to existing bounds, our results do not rely on the factors being well-conditioned or sparse. For the matrix normal model, all our bounds are minimax optimal up to logarithmic factors, and for the tensor normal model our bound for the largest factor and overall covariance matrix are minimax optimal up to constant factors provided there are enough samples for any estimator to obtain constant Frobenius error. In the same regimes as our sample complexity bounds, we show that an iterative procedure to compute the MLE known as the flip-flop algorithm converges linearly with high probability. Our main tool is geodesic strong convexity in the geometry on positive-definite matrices induced by the Fisher information metric. This strong convexity is determined by the expansion of certain random quantum channels. We also provide numerical evidence that combining the flip-flop algorithm with a simple shrinkage estimator can improve performance in the undersampled regime.
• Abstract（参考訳）: 行列正規モデルは、共分散行列が2つの低次元因子のクロネッカー積であるガウス行列-変量分布の族であり、行列-変量データのモデル化によく用いられる。 テンソル正規モデルは、この族を3つ以上の因子のクロネッカー積に一般化する。 行列およびテンソルモデルにおける共分散行列のクロネッカー因子の推定について検討した。 いくつかの自然測度において最大極大推定器(MLE)によって達成された誤差に対する漸近的境界を示す。 既存の境界とは対照的に、我々の結果は条件がよく、あるいは疎い要素に依存しない。 行列正規モデルでは、我々のすべての境界は対数係数まで極小最適であり、テンソル正規モデルでは、最大因子と全体共分散行列に対する境界は、任意の推定器が定数フロベニウス誤差を得るのに十分なサンプルが存在するような定数因子まで極小最適である。 サンプルの複雑性境界と同じ方法では、フリップフロップアルゴリズムとして知られるmleを計算する反復手順が線形に高確率収束することを示す。 我々の主なツールはフィッシャー情報計量によって誘導される正定値行列の幾何学における測地線強凸性である。 この強い凸性は、あるランダム量子チャネルの拡張によって決定される。 また,フリップフロップアルゴリズムと簡易縮小推定器を組み合わせることで,アンダーサンプリング方式の性能を向上させることができることを示す。

関連論文リスト

• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Statistical Inference For Noisy Matrix Completion Incorporating Auxiliary Information [3.9748528039819977]
  本稿では,半教師付きモデルにおける雑音行列補完の統計的推測について検討する。 検討した文脈において,反復最小二乗(LS)推定手法を適用した。 提案手法は数回の反復しか必要とせず、結果として得られる低ランク行列と係数行列のエントリーワイズ推定器は正規分布を持つことが保証されている。
  論文  参考訳（メタデータ） (2024-03-22T01:06:36Z)
• Entropic covariance models [0.7614628596146602]
  共分散行列の異なる変換に対する線形制限に関する一般的な枠組みを提案する。 提案手法は凸問題を解き,$M$-estimatorを出力する。
  論文  参考訳（メタデータ） (2023-06-06T11:25:05Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Riemannian statistics meets random matrix theory: towards learning from high-dimensional covariance matrices [2.352645870795664]
  本稿では,高次元共分散行列の空間上でのリーマン・ガウス分布に関連する正規化因子の計算方法が存在しないことを示す。 この欠落法は、ランダム行列理論との予期せぬ新しい関係から来ていることが示されている。 シミュレーション実験により、この新たな近似が現実のデータセットへの応用を妨げる困難を解き放つ方法が示されている。
  論文  参考訳（メタデータ） (2022-03-01T03:16:50Z)
• When Random Tensors meet Random Matrices [50.568841545067144]
  本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。 検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
  論文  参考訳（メタデータ） (2021-12-23T04:05:01Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Information-Theoretic Limits for the Matrix Tensor Product [8.206394018475708]
  本稿では,ランダム行列の行列テンソル積を含む高次元推論問題について検討する。 本稿では,高次元行列保存信号の解析のための新しい手法を紹介する。
  論文  参考訳（メタデータ） (2020-05-22T17:03:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。