論文の概要: Significance tests of feature relevance for a blackbox learner
- arxiv url: http://arxiv.org/abs/2103.04985v1
- Date: Tue, 2 Mar 2021 00:59:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-05 00:55:58.771981
- Title: Significance tests of feature relevance for a blackbox learner
- Title（参考訳）: ブラックボックス学習者における特徴関係の意義評価
- Authors: Ben Dai, Xiaotong Shen, Wei Pan
- Abstract要約: ブラックボックス学習者の特徴関連性に関する2つの一貫した試験を導出する。
第1は、推論サンプルの摂動による損失差を評価する。
2つ目は推論サンプルを2つに分割するが、データの摂動は必要ない。
- 参考スコア（独自算出の注目度）: 6.72450543613463
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: An exciting recent development is the uptake of deep learning in many
scientific fields, where the objective is seeking novel scientific insights and
discoveries. To interpret a learning outcome, researchers perform hypothesis
testing for explainable features to advance scientific domain knowledge. In
such a situation, testing for a blackbox learner poses a severe challenge
because of intractable models, unknown limiting distributions of parameter
estimates, and high computational constraints. In this article, we derive two
consistent tests for the feature relevance of a blackbox learner. The first one
evaluates a loss difference with perturbation on an inference sample, which is
independent of an estimation sample used for parameter estimation in model
fitting. The second further splits the inference sample into two but does not
require data perturbation. Also, we develop their combined versions by
aggregating the order statistics of the $p$-values based on repeated sample
splitting. To estimate the splitting ratio and the perturbation size, we
develop adaptive splitting schemes for suitably controlling the Type \rom{1}
error subject to computational constraints. By deflating the
\textit{bias-sd-ratio}, we establish asymptotic null distributions of the test
statistics and their consistency in terms of statistical power. Our theoretical
power analysis and simulations indicate that the one-split test is more
powerful than the two-split test, though the latter is easier to apply for
large datasets. Moreover, the combined tests are more stable while compensating
for a power loss by repeated sample splitting. Numerically, we demonstrate the
utility of the proposed tests on two benchmark examples. Accompanying this
paper is our Python library {\tt dnn-inference}
https://dnn-inference.readthedocs.io/en/latest/ that implements the proposed
tests.
- Abstract（参考訳）: 近年のエキサイティングな発展は、新しい科学的洞察と発見を求める多くの科学分野におけるディープラーニングの普及である。
学習結果を解釈するために、研究者は説明可能な特徴の仮説テストを行い、科学的ドメイン知識を前進させる。
このような状況において、ブラックボックス学習者のテストは、難解なモデル、パラメータ推定の未知の制限分布、高い計算制約のために厳しい課題をもたらす。
本稿では,ブラックボックス学習者の特徴関連性に関する2つの一貫した試験を導出する。
1つ目は、モデルフィッティングにおけるパラメータ推定に用いられる推定サンプルとは独立な、推論サンプルの摂動による損失差を評価する。
後者はさらに推論サンプルを2つに分割するが、データの摂動は必要ない。
また、繰り返しサンプル分割に基づく$p$-valuesの順序統計を集約し、それらの組み合わせ版を開発する。
分割率と摂動サイズを推定するために,計算量制約に基づく型 \rom{1} の誤差を適切に制御する適応分割スキームを開発した。
textit{bias-sd-ratio} をデフレーションすることにより、テスト統計の漸近的な零分布とそれらの整合性を統計力の観点から確立する。
理論的パワー分析とシミュレーションにより,1分割試験は2分割試験よりも強力であることがわかったが,後者は大規模データセットに適用しやすくなった。
さらに, 繰り返し試料分割による電力損失を補償しながら, 組合せ試験はより安定である。
数値解析により,提案手法の有効性を2つのベンチマーク例で示す。
提案するテストを実装した python library {\tt dnn-inference} https://dnn-inference.readthedocs.io/en/latest/ である。
関連論文リスト
- Precise Error Rates for Computationally Efficient Testing [75.63895690909241]
本稿では,計算複雑性に着目した単純な対数-単純仮説テストの問題を再考する。
線形スペクトル統計に基づく既存の試験は、I型とII型の誤差率の間の最良のトレードオフ曲線を達成する。
論文 参考訳（メタデータ） (2023-11-01T04:41:16Z) - Deep anytime-valid hypothesis testing [29.273915933729057]
非パラメトリックなテスト問題に対する強力なシーケンシャルな仮説テストを構築するための一般的なフレームワークを提案する。
テスト・バイ・ベッティング・フレームワーク内で、機械学習モデルの表現能力を活用するための原則的なアプローチを開発する。
合成および実世界のデータセットに関する実証的な結果は、我々の一般的なフレームワークを用いてインスタンス化されたテストが、特殊なベースラインと競合することを示している。
論文 参考訳（メタデータ） (2023-10-30T09:46:19Z) - Active Sequential Two-Sample Testing [18.99517340397671]
サンプル測定が安価に利用できる新しいシナリオでは,この2サンプルテストの問題を考慮する。
我々は,emphactiveNIST-sampleテストフレームワークを考案し,逐次クエリだけでなく,emphactivelyクエリも考案した。
実際に、我々はフレームワークのインスタンス化を導入し、いくつかの実験を用いて評価する。
論文 参考訳（メタデータ） (2023-01-30T02:23:49Z) - Model-Free Sequential Testing for Conditional Independence via Testing
by Betting [8.293345261434943]
提案されたテストでは、任意の依存関係構造を持つ入ってくるi.d.データストリームを分析できる。
重要な結果が検出されれば,オンライン上でのデータポイントの処理を可能とし,データ取得を停止する。
論文 参考訳（メタデータ） (2022-10-01T20:05:33Z) - Learning to Increase the Power of Conditional Randomization Tests [8.883733362171032]
モデル-X条件ランダム化テストは、条件独立性テストのための一般的なフレームワークである。
本稿では,モデルXテストのパワー向上を目的とした新しいモデル適合方式を提案する。
論文 参考訳（メタデータ） (2022-07-03T12:29:25Z) - Nonparametric Conditional Local Independence Testing [69.31200003384122]
条件付き局所独立は、連続的な時間プロセス間の独立関係である。
条件付き地域独立の非パラメトリックテストは行われていない。
二重機械学習に基づく非パラメトリックテストを提案する。
論文 参考訳（メタデータ） (2022-03-25T10:31:02Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳（メタデータ） (2022-02-08T02:59:12Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - Two-Sample Testing on Ranked Preference Data and the Role of Modeling
Assumptions [57.77347280992548]
本稿では,ペアワイズ比較データとランキングデータのための2サンプル試験を設計する。
私たちのテストでは、基本的に分布に関する仮定は必要ありません。
実世界のペアワイズ比較データに2サンプルテストを適用することで、人によって提供される評価とランキングは、実際は異なる分散である、と結論付ける。
論文 参考訳（メタデータ） (2020-06-21T20:51:09Z) - Double Generative Adversarial Networks for Conditional Independence
Testing [8.359770027722275]
高次元条件独立テストは統計学と機械学習の重要な構成要素である。
本稿では,GAN(Double Generative Adversarial Network)に基づく推論手法を提案する。
論文 参考訳（メタデータ） (2020-06-03T16:14:15Z) - An Investigation of Why Overparameterization Exacerbates Spurious
Correlations [98.3066727301239]
この動作を駆動するトレーニングデータの2つの重要な特性を特定します。
モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
論文 参考訳（メタデータ） (2020-05-09T01:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。