論文の概要: Learning Representations for Independence Testing
- arxiv url: http://arxiv.org/abs/2409.06890v2
- Date: Sat, 05 Jul 2025 01:46:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 15:46:34.099682
- Title: Learning Representations for Independence Testing
- Title（参考訳）: 独立テストのための学習表現
- Authors: Nathaniel Xu, Feng Liu, Danica J. Sutherland,
- Abstract要約: 本稿では, 相互情報の変動推定器を用いて, 有限サンプル妥当性を持つ強力なテストを構築する方法を示す。
第2に,Hilbert-Schmidt Independence Criterion(HSIC)に基づくこれらの変分的相互情報ベーステストとテストの密接な関係を確立する。
最後に、統計量自体を最大化する表現を選択するのではなく、テストのパワーを最大化する表現を選択する方法を示す。
- 参考スコア（独自算出の注目度）: 13.842061060076004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many tools exist to detect dependence between random variables, a core question across a wide range of machine learning, statistical, and scientific endeavors. Although several statistical tests guarantee eventual detection of any dependence with enough samples, standard tests may require an exorbitant amount of samples for detecting subtle dependencies between high-dimensional random variables with complex distributions. In this work, we study two related ways to learn powerful independence tests. First, we show how to construct powerful statistical tests with finite-sample validity by using variational estimators of mutual information, such as the InfoNCE or NWJ estimators. Second, we establish a close connection between these variational mutual information-based tests and tests based on the Hilbert-Schmidt Independence Criterion (HSIC); in particular, learning a variational bound (typically parameterized by a deep network) for mutual information is closely related to learning a kernel for HSIC. Finally, we show how to, rather than selecting a representation to maximize the statistic itself, select a representation which can maximize the power of a test, in either setting; we term the former case a Neural Dependency Statistic (NDS). While HSIC power optimization has been recently considered in the literature, we correct some important misconceptions and expand to considering deep kernels. In our experiments, while all approaches can yield powerful tests with exact level control, optimized HSIC tests generally outperform the other approaches on difficult problems of detecting structured dependence.
- Abstract（参考訳）: ランダム変数間の依存を検出するための多くのツールが存在しており、機械学習、統計学、科学的な取り組みの幅広い領域における中心的な疑問である。
いくつかの統計的テストでは、十分なサンプルによる任意の依存の最終的な検出が保証されているが、複雑な分布を持つ高次元の確率変数間の微妙な依存関係を検出するために、標準テストは、余分な量のサンプルを必要とする可能性がある。
本研究では、強力な独立性テストを学ぶための2つの関連する方法について研究する。
まず、InfoNCE や NWJ などの相互情報の変動推定器を用いて、有限サンプル妥当性のある強力な統計的テストを構築する方法を示す。
第2に,Hilbert-Schmidt Independence Criterion (HSIC) に基づくこれらの変分的相互情報ベーステストとテストとの密接な関係を確立し,特に,相互情報の変動境界(一般的にはディープネットワークによってパラメータ化される)を学習することは,HSICのカーネルの学習と密接に関連している。
最後に、統計量自体を最大化するために表現を選択するのではなく、テストのパワーを最大化する表現をどちらの設定でも選択する方法を示す。
近年、HSICの電力最適化が検討されているが、いくつかの重要な誤解を修正し、深層カーネルに拡張する。
実験では,全ての手法が厳密なレベル制御による強力な試験を行うことができるが,最適化されたHSIC試験は,構造的依存を検出する難しい問題において,他の手法よりも優れる。
関連論文リスト
- Minimax Optimal Kernel Two-Sample Tests with Random Features [8.030917052755195]
ランダムフーリエ特徴量(RFF)近似に基づくスペクトル正規化2サンプル試験を提案する。
RFFの近似順序が十分に大きい場合、提案した試験が最小限最適であることを示す。
そこで本研究では,正規化パラメータとカーネルを選択するためのデータ適応型戦略を用いて,提案したテストの実用的実装可能な置換型バージョンを開発する。
論文 参考訳（メタデータ） (2025-02-28T06:12:00Z) - Optimal Kernel Choice for Score Function-based Causal Discovery [92.65034439889872]
本稿では,データに最も適合する最適なカーネルを自動的に選択する,一般化スコア関数内のカーネル選択手法を提案する。
合成データと実世界のベンチマークの両方で実験を行い,提案手法がカーネル選択法より優れていることを示す。
論文 参考訳（メタデータ） (2024-07-14T09:32:20Z) - Estimation of mutual information via quantum kernel method [0.0]
相互情報(MI)の推定は,複数の確率変数間の関係を非線形相関で調査する上で重要な役割を担っている。
本稿では,量子カーネルを用いた相互情報推定手法を提案する。
論文 参考訳（メタデータ） (2023-10-19T00:53:16Z) - Boosting the Power of Kernel Two-Sample Tests [4.07125466598411]
最大平均誤差(MMD)に基づくカーネル2サンプルテストは、一般的な距離空間上の2つの分布の違いを検出する最も一般的な方法の1つである。
マハラノビス距離を用いて,複数のカーネル上でMDD推定値を組み合わせることで,カーネルテストのパワーを高める手法を提案する。
論文 参考訳（メタデータ） (2023-02-21T14:14:30Z) - Nystr\"om $M$-Hilbert-Schmidt Independence Criterion [0.0]
カーネルをユビキタスにする主な特徴は、 (i) 設計された領域の数、 (ii) カーネルに関連する関数クラスのヒルベルト構造、 (iii) 情報を失うことなく確率分布を表現する能力である。
我々は、Mge 2$のケースを処理し、その一貫性を証明し、その適用性を実証する代替のNystr"omベースのHSIC推定器を提案する。
論文 参考訳（メタデータ） (2023-02-20T11:51:58Z) - Targeted Separation and Convergence with Kernel Discrepancies [61.973643031360254]
カーネルベースの不一致測度は、(i)ターゲットPを他の確率測度から分離するか、(ii)Pへの弱収束を制御する必要がある。
本稿では, (i) と (ii) を保証するのに十分な,必要な新しい条件を導出する。
可分距離空間上のMDDに対して、ボヒナー埋め込み可測度を分離するカーネルを特徴づけ、すべての測度を非有界カーネルと分離するための単純な条件を導入する。
論文 参考訳（メタデータ） (2022-09-26T16:41:16Z) - Variational Autoencoder Kernel Interpretation and Selection for
Classification [59.30734371401315]
本研究では,変分オートエンコーダの畳み込みエンコーダによって生成された特徴に基づく確率的分類器のカーネル選択手法を提案する。
提案した実装では、各カーネルに対して各分散が生成されるため、各潜伏変数を最終エンコーダの畳み込み層の単一カーネルに関連付けられた分布からサンプリングした。
サンプル化された潜伏変数で関連する機能を選択することで、カーネルの選択を実行し、非形式的機能とカーネルをフィルタリングすることができる。
論文 参考訳（メタデータ） (2022-09-10T17:22:53Z) - A Fourier representation of kernel Stein discrepancy with application to
Goodness-of-Fit tests for measures on infinite dimensional Hilbert spaces [6.437931786032493]
Kernel Stein discrepancy (KSD) は、確率測度間の差異のカーネルベースの尺度である。
我々は、分離可能なヒルベルト空間に横たわるデータの一般性において、KSDを初めて解析する。
これにより、KSDが測定を分離できることを証明できるので、実際は有効である。
論文 参考訳（メタデータ） (2022-06-09T15:04:18Z) - Nonparametric Conditional Local Independence Testing [69.31200003384122]
条件付き局所独立は、連続的な時間プロセス間の独立関係である。
条件付き地域独立の非パラメトリックテストは行われていない。
二重機械学習に基づく非パラメトリックテストを提案する。
論文 参考訳（メタデータ） (2022-03-25T10:31:02Z) - Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。
穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。
また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
論文 参考訳（メタデータ） (2022-02-01T17:46:51Z) - Learning Kernel Tests Without Data Splitting [18.603394415852765]
データ分割なしにハイパーパラメータの学習と全サンプルでのテストを可能にするアプローチを提案する。
我々のアプローチの試験能力は、その分割割合に関係なく、データ分割アプローチよりも経験的に大きい。
論文 参考訳（メタデータ） (2020-06-03T14:07:39Z) - Learning Deep Kernels for Non-Parametric Two-Sample Tests [50.92621794426821]
2組のサンプルが同じ分布から引き出されるかどうかを判定するカーネルベースの2サンプルテストのクラスを提案する。
私たちのテストは、テストパワーを最大化するためにトレーニングされたディープニューラルネットワークによってパラメータ化されたカーネルから構築されます。
論文 参考訳（メタデータ） (2020-02-21T03:54:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。