論文の概要: Optimal Prediction-Augmented Algorithms for Testing Independence of Distributions
- arxiv url: http://arxiv.org/abs/2603.04635v1
- Date: Wed, 04 Mar 2026 21:55:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-06 22:06:10.98788
- Title: Optimal Prediction-Augmented Algorithms for Testing Independence of Distributions
- Title(参考訳): 分布の独立性テストのための最適予測拡張アルゴリズム
- Authors: Maryam Aliakbarpour, Alireza Azizi, Ria Stevens,
- Abstract要約: 複数の確率変数に対して$p$の独立性をテストする問題に対処する。
補助的だが信頼できない、予測可能な情報を組み込んだテスタを設計します。
我々のフレームワークは、予測の品質に関わらず、テスターが堅牢で、最悪のケースの妥当性を維持することを保証します。
- 参考スコア(独自算出の注目度): 4.200594864147057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Independence testing is a fundamental problem in statistical inference: given samples from a joint distribution $p$ over multiple random variables, the goal is to determine whether $p$ is a product distribution or is $ε$-far from all product distributions in total variation distance. In the non-parametric finite-sample regime, this task is notoriously expensive, as the minimax sample complexity scales polynomially with the support size. In this work, we move beyond these worst-case limitations by leveraging the framework of \textit{augmented distribution testing}. We design independence testers that incorporate auxiliary, but potentially untrustworthy, predictive information. Our framework ensures that the tester remains robust, maintaining worst-case validity regardless of the prediction's quality, while significantly improving sample efficiency when the prediction is accurate. Our main contributions include: (i) a bivariate independence tester for discrete distributions that adaptively reduces sample complexity based on the prediction error; (ii) a generalization to the high-dimensional multivariate setting for testing the independence of $d$ random variables; and (iii) matching minimax lower bounds demonstrating that our testers achieve optimal sample complexity.
- Abstract(参考訳): 独立性テストは統計的推論における基本的な問題であり、複数の確率変数上の合同分布から$p$のサンプルが与えられた場合、$p$が積分布であるか、または全変動距離のすべての積分布から$ε$-farであるかを決定することが目的である。
非パラメトリック有限サンプル系では、ミニマックスサンプルの複雑性はサポートサイズと多項式的にスケールするため、このタスクは高くつく。
本研究では,textit{augmented distribution testing} のフレームワークを活用することで,このような最悪のケースの制限を克服する。
私たちは、補助的だが信頼できない、予測可能な情報を取り入れた独立テスターを設計します。
筆者らのフレームワークは, 予測精度に関わらず, 最悪の場合の妥当性を保ちながら, 精度の高い試料効率を著しく向上する。
私たちの主な貢献は以下のとおりです。
一 予測誤差に基づいてサンプルの複雑さを適応的に減少させる離散分布用二変量独立試験器
(ii)$d$ランダム変数の独立性をテストするための高次元多変量集合への一般化
3) テスト担当者が最適なサンプル複雑性を達成できることを示す,minimaxの低いバウンダリをマッチングする。
関連論文リスト
- Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions [50.1404916337174]
大規模言語モデル(LLM)における母国語の確率的サンプリングの大規模,統計的に活用された最初の監査について述べる。
バッチ生成は, ほぼ完全に崩壊する一方, 中央値のパスレートが13%であり, 統計的妥当性はわずかであることがわかった。
現在のLCMには機能的な内部サンプルが欠如しており、統計的保証を必要とするアプリケーションに外部ツールを使う必要があると結論付けている。
論文 参考訳(メタデータ) (2026-01-08T22:33:12Z) - Differentially Private Multi-Sampling from Distributions [4.292685318253575]
本研究は,DPエフェッスルサンプリングのサンプル複雑性,すなわち,このタスクの実行に必要なサンプルの最小数について検討する。
エンフルティサンプリングの2つの変種を定義し、そこでは、プライベートに$m>1$サンプルを近似することを目的としている。
論文 参考訳(メタデータ) (2024-12-13T19:14:05Z) - Optimal Algorithms for Augmented Testing of Discrete Distributions [25.818433126197036]
予測器は3つのプロパティテストタスクすべてに必要なサンプル数を実際に削減できることを示す。
我々のアルゴリズムの重要な利点は、予測の精度への適応性である。
アルゴリズムによって達成されるサンプルの複雑さの改善は、情報理論的に最適であることを示すために、より低い境界を提供する。
論文 参考訳(メタデータ) (2024-12-01T21:31:22Z) - Doubly Robust Conditional Independence Testing with Generative Neural Networks [8.323172773256449]
本稿では、第3の確率ベクトル$Z$を与えられた2つのジェネリックランダムベクトル$X$と$Y$の条件独立性をテストする問題に対処する。
条件分布を明示的に推定しない新しい非パラメトリック試験法を提案する。
論文 参考訳(メタデータ) (2024-07-25T01:28:59Z) - Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-11T13:44:49Z) - Sequential Predictive Two-Sample and Independence Testing [114.4130718687858]
逐次的非パラメトリック2サンプルテストと独立テストの問題点について検討する。
私たちは賭けによる(非パラメトリックな)テストの原則に基づいています。
論文 参考訳(メタデータ) (2023-04-29T01:30:33Z) - Outlier-Robust Sparse Mean Estimation for Heavy-Tailed Distributions [42.6763105645717]
少数の破損したサンプルが与えられた場合、ゴールは確率の高い$mu$を正確に近似する仮説を効率的に計算することである。
本アルゴリズムは, 周辺次元と対数的にスケーリングするサンプルを多数使用して, 最適誤差を実現する。
我々の分析は、ある空間特性を満たす正の半定値に対する(非スペクトル)分解の繊細な設計を含む、独立した関心を持つかもしれない。
論文 参考訳(メタデータ) (2022-11-29T16:13:50Z) - Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。
粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文 参考訳(メタデータ) (2021-10-06T16:58:34Z) - Optimal Testing of Discrete Distributions with High Probability [49.19942805582874]
高確率状態に着目して離散分布を試験する問題について検討する。
一定の要素でサンプル最適である近接性および独立性テストのための最初のアルゴリズムを提供する。
論文 参考訳(メタデータ) (2020-09-14T16:09:17Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳(メタデータ) (2020-01-19T12:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。