論文の概要: On the Hardness of Conditional Independence Testing In Practice
- arxiv url: http://arxiv.org/abs/2512.14000v1
- Date: Tue, 16 Dec 2025 01:45:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-17 16:49:26.540629
- Title: On the Hardness of Conditional Independence Testing In Practice
- Title（参考訳）: 条件付き独立試験の実践における難しさについて
- Authors: Zheng He, Roman Pogodin, Yazhe Li, Namrata Deka, Arthur Gretton, Danica J. Sutherland,
- Abstract要約: 条件付き独立テスト(CI)は、機械学習と統計学において多くの重要な問題の原因となっている。
Shah and Peters (2020) は、無条件の場合とは対照的に、普遍的に有限サンプルの有効なテストが非自明なパワーを達成できないことを示した。
本稿では,カーネルに基づく条件独立試験(KCI)について検討し,その実践行動の根底にある主要な要因を明らかにする。
- 参考スコア（独自算出の注目度）: 33.26934394515333
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tests of conditional independence (CI) underpin a number of important problems in machine learning and statistics, from causal discovery to evaluation of predictor fairness and out-of-distribution robustness. Shah and Peters (2020) showed that, contrary to the unconditional case, no universally finite-sample valid test can ever achieve nontrivial power. While informative, this result (based on "hiding" dependence) does not seem to explain the frequent practical failures observed with popular CI tests. We investigate the Kernel-based Conditional Independence (KCI) test - of which we show the Generalized Covariance Measure underlying many recent tests is nearly a special case - and identify the major factors underlying its practical behavior. We highlight the key role of errors in the conditional mean embedding estimate for the Type-I error, while pointing out the importance of selecting an appropriate conditioning kernel (not recognized in previous work) as being necessary for good test power but also tending to inflate Type-I error.
- Abstract（参考訳）: 条件独立テスト(CI)は、因果発見から予測公正性の評価、分布外ロバスト性の評価に至るまで、機械学習や統計学における多くの重要な問題の原因となっている。
Shah and Peters (2020) は、無条件の場合とは対照的に、普遍的に有限サンプルの有効なテストが非自明なパワーを達成できないことを示した。
情報的ではあるが、この結果("隠蔽"依存に基づく)は、一般的なCIテストで見られる頻繁な実践的失敗を説明するものではないようだ。
我々は、カーネルベースの条件付き独立性テスト(KCI)を調査し、最近の多くのテストの根底にある一般化共分散尺度(Generalized Covariance Measure)が、ほぼ特別なケースであることを示す。
我々は,Type-Iエラーに対する条件平均埋め込み推定におけるエラーの鍵となる役割を強調し,適切な条件付きカーネルを選択することの重要性を,優れたテストパワーに必要であると同時に,Type-Iエラーを増大させる傾向があることを指摘した。
関連論文リスト
- Toward Scalable and Valid Conditional Independence Testing with Spectral Representations [25.258360465513338]
条件独立(CI)は多くの設定で追加の仮定なしでテストできない。
本稿では,部分共分散演算子の特異値分解から導出される表現を学習するために,実用的な2レベルコントラストアルゴリズムを提案する。
予備的な実験は、このアプローチがスケーラブルなCIテストへの実践的で統計的に根拠のあるパスを提供することを示唆している。
論文 参考訳（メタデータ） (2025-12-22T16:05:18Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z) - A Sample Efficient Conditional Independence Test in the Presence of Discretization [54.047334792855345]
離散化されたデータに直接条件付き独立テスト(CI)は、誤った結論につながる可能性がある。
最近の進歩は、観測データをバイナライズすることで、潜伏変数間の適切なCI関係を推測することを目指している。
そこで本研究では,バイナライゼーションプロセスに依存しないサンプル効率のCIテストを提案する。
論文 参考訳（メタデータ） (2025-06-10T12:41:26Z) - Internal Incoherency Scores for Constraint-based Causal Discovery Algorithms [12.524536193679124]
仮説違反や有限サンプル誤りの検証が可能な内部コヒーレンシスコアを提案する。
シミュレーションおよび実世界のデータセットを用いて,PCアルゴリズムにおけるコヒーレンシースコアについて述べる。
論文 参考訳（メタデータ） (2025-02-20T16:44:54Z) - Practical Kernel Tests of Conditional Independence [33.275712245547815]
SplitKCIは、データ分割に基づくカーネルベースの条件独立テストのためのバイアス制御の自動化方法である。
提案手法は,テストパワーを犠牲にすることなく,KCIのテストレベル制御を大幅に改善することを示す。
論文 参考訳（メタデータ） (2024-02-20T18:07:59Z) - Precise Error Rates for Computationally Efficient Testing [67.30044609837749]
本稿では,計算複雑性に着目した単純な対数-単純仮説テストの問題を再考する。
線形スペクトル統計に基づく既存の試験は、I型とII型の誤差率の間の最良のトレードオフ曲線を達成する。
論文 参考訳（メタデータ） (2023-11-01T04:41:16Z) - Conditional independence testing under misspecified inductive biases [27.34558936393097]
本研究では, 回帰型CIテストの性能を不特定帰納バイアス下で検討した。
すなわち,3つの回帰テストの誤差に対する新しい近似や上限を提案する。
我々は,不特定帰納バイアスに対して頑健な回帰型CIテストであるRao-Blackwellized Predictor Test (RBPT)を導入する。
論文 参考訳（メタデータ） (2023-07-05T17:53:13Z) - Testing for Overfitting [0.0]
オーバーフィッティング問題について議論し、トレーニングデータによる評価に標準値と集中値が成立しない理由を説明する。
本稿では,モデルの性能をトレーニングデータを用いて評価できる仮説テストを紹介し,議論する。
論文 参考訳（メタデータ） (2023-05-09T22:49:55Z) - Sequential Kernelized Independence Testing [77.237958592189]
我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。
シミュレーションデータと実データの両方にアプローチのパワーを実証する。
論文 参考訳（メタデータ） (2022-12-14T18:08:42Z) - With Little Power Comes Great Responsibility [54.96675741328462]
アンダーパワー実験により、統計的ノイズと有意義なモデル改善の違いを識別することがより困難になる。
小さなテストセットは、ほとんどの試行錯誤が、最先端のモデルと比較しても、十分なパワーが得られないことを意味している。
機械翻訳では,2000文の典型的テストセットが約75%のパワーで1 BLEU点の差を検出する。
論文 参考訳（メタデータ） (2020-10-13T18:00:02Z) - Cross-validation Confidence Intervals for Test Error [83.67415139421448]
この研究は、クロスバリデーションのための中心極限定理と、学習アルゴリズムの弱い安定性条件下での分散の一貫した推定器を開発する。
結果は、一般的な1対1のクロスバリデーションの選択にとって、初めてのものだ。
論文 参考訳（メタデータ） (2020-07-24T17:40:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。