論文の概要: Better Together: Cross and Joint Covariances Enhance Signal Detectability in Undersampled Data
- arxiv url: http://arxiv.org/abs/2507.22207v1
- Date: Tue, 29 Jul 2025 20:11:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-31 16:14:17.852414
- Title: Better Together: Cross and Joint Covariances Enhance Signal Detectability in Undersampled Data
- Title(参考訳): 相互共分散によるアンダーサンプルデータの信号検出性向上
- Authors: Arabind Swain, Sean Alexander Ridout, Ilya Nemenman,
- Abstract要約: データサイエンスの応用の多くは、2つの高次元変数間の共有信号の検出を含む。
ランダム行列理論法を用いて,サンプル相関からそのような信号がいつ検出・再構成できるかを判断する。
本稿では,データ中の線形相関を検出するための適切な方法を選択する上で,これらの観測がどのような意味を持つのか,また,これらの結果が非線形統計的依存関係にどのように一般化されるのかを論じる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many data-science applications involve detecting a shared signal between two high-dimensional variables. Using random matrix theory methods, we determine when such signal can be detected and reconstructed from sample correlations, despite the background of sampling noise induced correlations. We consider three different covariance matrices constructed from two high-dimensional variables: their individual self covariance, their cross covariance, and the self covariance of the concatenated (joint) variable, which incorporates the self and the cross correlation blocks. We observe the expected Baik, Ben Arous, and P\'ech\'e detectability phase transition in all these covariance matrices, and we show that joint and cross covariance matrices always reconstruct the shared signal earlier than the self covariances. Whether the joint or the cross approach is better depends on the mismatch of dimensionalities between the variables. We discuss what these observations mean for choosing the right method for detecting linear correlations in data and how these findings may generalize to nonlinear statistical dependencies.
- Abstract(参考訳): データサイエンスの応用の多くは、2つの高次元変数間の共有信号の検出を含む。
ランダム行列法を用いて,サンプリングノイズによる相関の背景にも拘わらず,サンプル相関からそのような信号を検出・再構成できるかどうかを判断する。
2つの高次元変数(自己共分散、相互共分散、自己相関ブロックを含む連結(結合)変数の自己共分散)から構成される3つの異なる共分散行列を考える。
これらの共分散行列におけるベイク,ベン・アラス,P\'ech\e検出性相転移を観測し,共分散行列と交差共分散行列が共分散よりも早く共分散信号の再構成を行うことを示す。
ジョイントかクロスアプローチがよいかは、変数間の次元のミスマッチに依存する。
本稿では,データ中の線形相関を検出するための適切な方法を選択する上で,これらの観測がどのような意味を持つのか,また,これらの結果が非線形統計的依存関係にどのように一般化されるのかを論じる。
関連論文リスト
- Causal vs. Anticausal merging of predictors [57.26526031579287]
同じデータを用いて、因果方向と反因果方向の融合予測器から生じる差について検討した。
帰納的バイアスとしてCausal Maximum Entropy (CMAXENT) を用いて予測器をマージする。
論文 参考訳(メタデータ) (2025-01-14T20:38:15Z) - Relaxation Fluctuations of Correlation Functions: Spin and Random Matrix Models [0.0]
本稿では,量子カオスの診断尺度として,ある相関関数の変動平均と分散について検討する。
モデルの3つの異なる位相(エルゴード相、フラクタル相、局所化相)を同定する。
論文 参考訳(メタデータ) (2024-07-31T14:45:46Z) - Linear causal disentanglement via higher-order cumulants [0.0]
複数の文脈におけるデータへのアクセスを前提として,線形因果不整合の識別可能性について検討した。
各潜伏変数に対する1つの完全な介入が十分であり、完全な介入の下でパラメータを復元するのに必要となる最悪の場合を示す。
論文 参考訳(メタデータ) (2024-07-05T15:53:16Z) - Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳(メタデータ) (2024-04-24T09:04:36Z) - TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。
近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。
1)予測共分散は予測平均のランダム性を真に捉えているか?
その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
論文 参考訳(メタデータ) (2023-10-29T09:54:03Z) - Score-based Causal Representation Learning with Interventions [54.735484409244386]
本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。
目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
論文 参考訳(メタデータ) (2023-01-19T18:39:48Z) - On Correlation Detection and Alignment Recovery of Gaussian Databases [5.33024001730262]
相関検出は仮説テストの問題であり、ヌル仮説ではデータベースは独立であり、代替仮説では相関する。
我々は,タイプIとタイプIIの誤差確率のバウンダリを開発し,解析された検出器が最近提案した検出器よりも優れた性能を示すことを示す。
データベースが相関として受け入れられると、アルゴリズムは与えられたデータベース間の部分的なアライメントを復元する。
論文 参考訳(メタデータ) (2022-11-02T12:01:42Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳(メタデータ) (2022-07-14T17:08:25Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳(メタデータ) (2022-04-07T17:59:19Z) - Sparse Covariance Estimation in Logit Mixture Models [0.0]
本稿では,ロジット混合モデルにおけるランダム係数のスパース共分散行列を推定するための新しいデータ駆動手法を提案する。
我々の目的は、共分散を推定する相関係数の最適部分集合を見つけることである。
論文 参考訳(メタデータ) (2020-01-14T20:19:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。