論文の概要: Fundamental limits of distributed covariance matrix estimation via a conditional strong data processing inequality
- arxiv url: http://arxiv.org/abs/2507.16953v1
- Date: Tue, 22 Jul 2025 18:50:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-24 22:33:14.744678
- Title: Fundamental limits of distributed covariance matrix estimation via a conditional strong data processing inequality
- Title（参考訳）: 条件付き強データ処理不等式による分散共分散行列推定の基本的限界
- Authors: Mohammad Reza Rahmani, Mohammad Hossein Yassaee, Mohammad Reza Aref,
- Abstract要約: 本研究では,複数のエージェントがガウス以下のランダムベクトルから引き出されたサンプルの異なる成分を観測するシナリオについて検討する。
中央サーバは、各エージェントが通信する限られたビット数を用いて、完全な共分散行列を推定しようとする。
我々の主な技術ツールは、条件付き強データ処理不等式(C-SDPI)係数と呼ばれる、強データ処理不等式(SDPI)の新たな一般化である。
- 参考スコア（独自算出の注目度）: 5.134222224728979
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Estimating high-dimensional covariance matrices is a key task across many fields. This paper explores the theoretical limits of distributed covariance estimation in a feature-split setting, where communication between agents is constrained. Specifically, we study a scenario in which multiple agents each observe different components of i.i.d. samples drawn from a sub-Gaussian random vector. A central server seeks to estimate the complete covariance matrix using a limited number of bits communicated by each agent. We obtain a nearly tight minimax lower bound for covariance matrix estimation under operator norm and Frobenius norm. Our main technical tool is a novel generalization of the strong data processing inequality (SDPI), termed the Conditional Strong Data Processing Inequality (C-SDPI) coefficient, introduced in this work. The C-SDPI coefficient shares key properties such as tensorization with the conventional SDPI. Crucially, it quantifies the average contraction in a state-dependent channel and can be significantly lower than the worst-case SDPI coefficient over the state input. Utilizing the doubling trick of Geng-Nair and an operator Jensen inequality, we compute this coefficient for Gaussian mixture channels. We then employ it to establish minimax lower bounds on estimation error, capturing the trade-offs among sample size, communication cost, and data dimensionality. Building on this, we present a nearly optimal estimation protocol whose sample and communication requirements match the lower bounds up to logarithmic factors. Unlike much of the existing literature, our framework does not assume infinite samples or Gaussian distributions, making it broadly applicable. Finally, we extend our analysis to interactive protocols, showing interaction can significantly reduce communication requirements compared to non-interactive schemes.
- Abstract（参考訳）: 高次元共分散行列を推定することは、多くの分野において重要な課題である。
本稿では,エージェント間の通信が制約される特徴分割設定における分散共分散推定の理論的限界について検討する。
具体的には,複数のエージェントがそれぞれのサブガウス乱数ベクトルから引き出されたサンプルの異なる成分を観測するシナリオについて検討する。
中央サーバは、各エージェントが通信する限られたビット数を用いて、完全な共分散行列を推定しようとする。
作用素ノルムとフロベニウスノルムの共分散行列推定に対して、ほぼタイトなミニマックス下界が得られる。
本研究で導入された条件付き強データ処理不等式(C-SDPI)係数と呼ばれる,強データ処理不等式(SDPI)の新たな一般化である。
C-SDPI係数は、従来のSDPIとテンソル化などの鍵特性を共有する。
重要なことは、状態依存チャネルにおける平均収縮を定量化し、状態入力上の最悪のSDPI係数よりも著しく低い。
Geng-Nairと演算子Jensenの不等式を2倍にすることで、ガウス混合チャネルに対してこの係数を計算する。
次に,推定誤差を最小限に抑え,サンプルサイズ,通信コスト,データ次元のトレードオフを捉える。
これに基づいて、サンプルおよび通信要求が対数的要因までの下位境界に合致するほぼ最適な推定プロトコルを提案する。
既存の多くの文献とは異なり、我々のフレームワークは無限のサンプルやガウス分布を仮定せず、広く適用できる。
最後に,対話型プロトコルに解析を拡張し,対話が非対話型スキームに比べて通信要求を大幅に削減できることを示す。
関連論文リスト
- Semiparametric conformal prediction [79.6147286161434]
ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。
スコアの累積分布関数(CDF)を柔軟に推定する。
提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
論文 参考訳（メタデータ） (2024-11-04T14:29:02Z) - Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。
多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。
我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
論文 参考訳（メタデータ） (2024-06-20T02:23:28Z) - Optimal Differentially Private PCA and Estimation for Spiked Covariance Matrices [10.377683220196873]
共分散行列とその関連する主成分を推定することは、現代統計学における根本的な問題である。
スパイク共分散モデルにおける最適偏微分的主成分分析(PCA)と共分散推定について検討した。
計算効率のよい微分プライベート推定器を提案し、その極小極小性をガウス分布に対して証明する。
論文 参考訳（メタデータ） (2024-01-08T11:18:14Z) - A Parameter-Free Two-Bit Covariance Estimator with Improved Operator Norm Error Rate [23.116373524718988]
両問題に同時に対処する2ビット共分散行列推定器を提案する。
エントリ毎に異なるディザリングスケールを利用することで、我々の推定器は演算子ノルム誤差率の改善を享受する。
提案手法は、ディザリングスケールがデータによって完全に決定されるため、いかなるチューニングパラメータも不要である。
論文 参考訳（メタデータ） (2023-08-30T14:31:24Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - Distributed Nonparametric Estimation under Communication Constraints [0.0]
通信制約下での分散推定の振る舞いを理解するための一般的なフレームワークを提供する。
分散回帰, 密度推定, 分類, ポアソン回帰, ボラティリティ推定モデルにおいて, 最小値と一致する上限を導出する。
論文 参考訳（メタデータ） (2022-04-21T19:04:50Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳（メタデータ） (2021-12-07T01:23:20Z) - Acceleration in Distributed Optimization Under Similarity [72.54787082152278]
集中ノードを持たないエージェントネットワーク上での分散(強い凸)最適化問題について検討する。
$varepsilon$-solutionは$tildemathcalrhoObig(sqrtfracbeta/mu (1-)log1/varepsilonbig)$通信ステップ数で達成される。
この速度は、関心のクラスに適用される分散ゴシップ-アルゴリズムの、初めて(ポリログ因子まで)より低い複雑性の通信境界と一致する。
論文 参考訳（メタデータ） (2021-10-24T04:03:00Z) - Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic
Uncertainty [58.144520501201995]
ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。
注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。
また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
論文 参考訳（メタデータ） (2021-10-12T22:04:19Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳（メタデータ） (2020-10-24T07:01:24Z) - New Bounds For Distributed Mean Estimation and Variance Reduction [25.815612182815702]
本稿では,ローカルな$d$-dimensional vector $x_v を mathbbRd$ で与えられた$n$マシンが分散平均推定(DME)問題を考える。
提案手法は, 従来の手法と比較して, 応用の実践的改善をもたらすことを示す。
論文 参考訳（メタデータ） (2020-02-21T13:27:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。