論文の概要: High-Dimensional Independence Testing and Maximum Marginal Correlation
- arxiv url: http://arxiv.org/abs/2001.01095v1
- Date: Sat, 4 Jan 2020 16:21:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-14 12:40:07.872583
- Title: High-Dimensional Independence Testing and Maximum Marginal Correlation
- Title(参考訳): 高次元独立試験と最大縁相関
- Authors: Cencheng Shen
- Abstract要約: 本稿では,最大境界相関法を提案し,従属次元の概念を用いて高次元依存構造を特徴づける。
正規性条件下での高次元依存テストにおいて,最大解法が有効かつ普遍的に整合であることを証明する。
この手法は、既存のほとんどの依存度測定によって実装でき、様々な高次元設定において優れたテスト能力を有し、ビッグデータ解析に計算効率がよい。
- 参考スコア(独自算出の注目度): 2.0813318162800707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A number of universally consistent dependence measures have been recently
proposed for testing independence, such as distance correlation, kernel
correlation, multiscale graph correlation, etc. They provide a satisfactory
solution for dependence testing in low-dimensions, but often exhibit decreasing
power for high-dimensional data, a phenomenon that has been recognized but
remains mostly unchartered. In this paper, we aim to better understand the
high-dimensional testing scenarios and explore a procedure that is robust
against increasing dimension. To that end, we propose the maximum marginal
correlation method and characterize high-dimensional dependence structures via
the notion of dependent dimensions. We prove that the maximum method can be
valid and universally consistent for testing high-dimensional dependence under
regularity conditions, and demonstrate when and how the maximum method may
outperform other methods. The methodology can be implemented by most existing
dependence measures, has a superior testing power in a variety of common
high-dimensional settings, and is computationally efficient for big data
analysis when using the distance correlation chi-square test.
- Abstract(参考訳): 最近、距離相関、カーネル相関、多スケールグラフ相関など、独立性をテストするための普遍的に一貫した依存尺度が提案されている。
それらは低次元での依存試験に十分なソリューションを提供するが、しばしば高次元データに対するパワー低下を示す。
本稿では,高次元テストシナリオをよりよく理解し,高次元に対する堅牢な手順を探究することを目的とする。
そこで本研究では,最大境界相関法を提案し,従属次元の概念を用いて高次元依存構造を特徴づける。
正則性条件下での高次元依存性のテストにおいて、最大値法が有効かつ普遍的に一貫性があることを証明し、最大値法が他の方法に勝る時期と方法を示す。
この手法は、既存のほとんどの依存度尺度で実装でき、様々な高次元設定において優れたテスト能力を有し、距離相関型カイ二乗検定を用いた場合、ビッグデータ解析に計算効率がよい。
関連論文リスト
- Consistent Estimation of a Class of Distances Between Covariance Matrices [7.291687946822539]
我々は、それぞれの共分散行列に別々に適用される関数のトレースの和として表現できる距離の族に興味を持っている。
このクラスの距離推定器の挙動に関する統計的解析も行われている。
これらの推定器のガウス性を確立し、対応する手段と分散に対する閉形式表現を提供する中心極限定理を提案する。
論文 参考訳(メタデータ) (2024-09-18T07:36:25Z) - An Upper Confidence Bound Approach to Estimating the Maximum Mean [0.0]
本研究では, 上限値の最大値の推定について, 上限値 (UCB) を用いて検討した。
両推定器の強い一貫性、平均二乗誤差、中央極限定理(CLT)を含む統計的保証を確立する。
論文 参考訳(メタデータ) (2024-08-08T02:53:09Z) - Precise Error Rates for Computationally Efficient Testing [75.63895690909241]
本稿では,計算複雑性に着目した単純な対数-単純仮説テストの問題を再考する。
線形スペクトル統計に基づく既存の試験は、I型とII型の誤差率の間の最良のトレードオフ曲線を達成する。
論文 参考訳(メタデータ) (2023-11-01T04:41:16Z) - Communication-Efficient Distributed Estimation and Inference for Cox's Model [4.731404257629232]
我々は, 高次元のスパースコックス比例ハザードモデルにおいて, 推定と推定のための通信効率のよい反復分散アルゴリズムを開発した。
高次元ハザード回帰係数の線形結合に対する信頼区間を構築するために,新しい縮退法を提案する。
我々は、デコラートスコアテストに基づく任意の座標要素に対して、有効かつ強力な分散仮説テストを提供する。
論文 参考訳(メタデータ) (2023-02-23T15:50:17Z) - Nonparametric Conditional Local Independence Testing [69.31200003384122]
条件付き局所独立は、連続的な時間プロセス間の独立関係である。
条件付き地域独立の非パラメトリックテストは行われていない。
二重機械学習に基づく非パラメトリックテストを提案する。
論文 参考訳(メタデータ) (2022-03-25T10:31:02Z) - A Statistical Analysis of Summarization Evaluation Metrics using
Resampling Methods [60.04142561088524]
信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。
多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
論文 参考訳(メタデータ) (2021-03-31T18:28:14Z) - Cross-validation Confidence Intervals for Test Error [83.67415139421448]
この研究は、クロスバリデーションのための中心極限定理と、学習アルゴリズムの弱い安定性条件下での分散の一貫した推定器を開発する。
結果は、一般的な1対1のクロスバリデーションの選択にとって、初めてのものだ。
論文 参考訳(メタデータ) (2020-07-24T17:40:06Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳(メタデータ) (2020-04-21T23:09:55Z) - Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。
単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
論文 参考訳(メタデータ) (2020-02-26T16:37:37Z) - The Chi-Square Test of Distance Correlation [7.748852202364896]
チ二乗検定は非パラメトリックであり、非常に高速であり、強い負のタイプ計量または特徴核を用いてバイアス補正された距離相関に適用できる。
基礎となるカイ二乗分布は上尾部の制限零分布をよく近似し支配しており、カイ二乗試験が独立性テストに有効で一貫性があることを証明している。
論文 参考訳(メタデータ) (2019-12-27T15:16:40Z) - Independence Testing for Temporal Data [14.25244839642841]
根本的な問題は、2つの時系列が関連しているかどうかである。
既存のアプローチには、パラメトリックな仮定に依存するような制限があることが多い。
本稿では,時間的データ間の独立性をテストするブロック置換を用いた時間的依存統計法を提案する。
論文 参考訳(メタデータ) (2019-08-18T17:19:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。