論文の概要: Training Guarantees of Neural Network Classification Two-Sample Tests by Kernel Analysis
- arxiv url: http://arxiv.org/abs/2407.04806v2
- Date: Tue, 9 Jul 2024 18:45:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 11:51:02.640628
- Title: Training Guarantees of Neural Network Classification Two-Sample Tests by Kernel Analysis
- Title（参考訳）: カーネル解析によるニューラルネットワーク分類2サンプル試験の指導要領
- Authors: Varun Khurana, Xiuyuan Cheng, Alexander Cloninger,
- Abstract要約: 2つのデータセットが同じ分布から来たかどうかを判断するために、ニューラルネットワークの2サンプルテストを構築し、分析する。
NTK2サンプルテストがデータセット間の偏差レベルを検出するのに必要となる、理論的に最小限のトレーニング時間を導出する。
ニューラルネットワークのトレーニングサンプルとテスト評価サンプルが無限に近づくにつれて、ニューラルネットワークの2サンプルテストに関連する統計的パワーは1になる。
- 参考スコア（独自算出の注目度）: 58.435336033383145
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We construct and analyze a neural network two-sample test to determine whether two datasets came from the same distribution (null hypothesis) or not (alternative hypothesis). We perform time-analysis on a neural tangent kernel (NTK) two-sample test. In particular, we derive the theoretical minimum training time needed to ensure the NTK two-sample test detects a deviation-level between the datasets. Similarly, we derive the theoretical maximum training time before the NTK two-sample test detects a deviation-level. By approximating the neural network dynamics with the NTK dynamics, we extend this time-analysis to the realistic neural network two-sample test generated from time-varying training dynamics and finite training samples. A similar extension is done for the neural network two-sample test generated from time-varying training dynamics but trained on the population. To give statistical guarantees, we show that the statistical power associated with the neural network two-sample test goes to 1 as the neural network training samples and test evaluation samples go to infinity. Additionally, we prove that the training times needed to detect the same deviation-level in the null and alternative hypothesis scenarios are well-separated. Finally, we run some experiments showcasing a two-layer neural network two-sample test on a hard two-sample test problem and plot a heatmap of the statistical power of the two-sample test in relation to training time and network complexity.
- Abstract（参考訳）: 2つのデータセットが同じ分布(null仮説)から来たかどうか(代替仮説)を決定するために、ニューラルネットワークの2サンプルテストを構築し、分析する。
ニューラルタンジェントカーネル(NTK)の2サンプルテストで時間解析を行う。
特に、NTK2サンプルテストがデータセット間の偏差レベルを検出するのに必要となる、理論的に最小限のトレーニング時間を導出する。
同様に、NTK2サンプルテストが偏差レベルを検出する前に、理論的な最大トレーニング時間を導出する。
NTKダイナミックスとニューラルネットワークのダイナミクスを近似することにより、この時間解析を、時間変化のトレーニングダイナミクスと有限トレーニングサンプルから生成された現実的なニューラルネットワーク2サンプルテストに拡張する。
同様の拡張は、時間変化のトレーニングダイナミクスから生成されるニューラルネットワークの2サンプルテストに対して行われ、人口に基づいてトレーニングされる。
統計的保証を得るために、ニューラルネットワークのトレーニングサンプルとテスト評価サンプルが無限に近づくにつれて、ニューラルネットワークの2サンプルテストに関連する統計的パワーが1になることを示す。
さらに、nullと代替仮説のシナリオにおいて、同じ偏差レベルを検出するのに必要なトレーニング時間が十分に分離されていることを証明した。
最後に、ハードな2サンプルテスト問題に対する2層ニューラルネットワークの2サンプルテストを示し、トレーニング時間とネットワーク複雑性に関連する2サンプルテストの統計的パワーのヒートマップをプロットする実験を行った。
関連論文リスト
- Network two-sample test for block models [16.597465729143813]
2組のネットワークが同じモデルに由来するかどうかを判定することを目的とするネットワークの2サンプルテスト問題を考える。
ネットワーク分布にブロックモデル(SBM)を適用するのは,その解釈可能性と,より一般的なモデルに近似する可能性からである。
推定されたネットワークパラメータにマッチする効率的なアルゴリズムを導入し、サンプル内およびサンプル間の情報を適切に組み合わせ、コントラスト化することで、強力なテストを実現する。
論文 参考訳（メタデータ） (2024-06-10T04:28:37Z) - Collaborative non-parametric two-sample testing [55.98760097296213]
目標は、null仮説の$p_v = q_v$が拒否されるノードを特定することである。
グラフ構造を効率的に活用する非パラメトリックコラボレーティブ2サンプルテスト(CTST)フレームワークを提案する。
提案手法は,f-divergence Estimation, Kernel Methods, Multitask Learningなどの要素を統合する。
論文 参考訳（メタデータ） (2024-02-08T14:43:56Z) - Expressive probabilistic sampling in recurrent neural networks [4.3900330990701235]
本稿では, 任意の確率分布から, 出力単位を分離した再帰型ニューラルネットワークの発火速度のダイナミクスをサンプリングできることを示す。
本稿では, RSNがLangevinサンプリングを実装しているような繰り返しおよび出力重みを求める, スコアマッチングに基づく効率的なトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-08-22T22:20:39Z) - How does unlabeled data improve generalization in self-training? A
one-hidden-layer theoretical analysis [93.37576644429578]
この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。
トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。
また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
論文 参考訳（メタデータ） (2022-01-21T02:16:52Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - Statistical model-based evaluation of neural networks [74.10854783437351]
ニューラルネットワーク(NN)の評価のための実験装置を開発する。
このセットアップは、NNs vis-a-vis minimum-mean-square-error (MMSE)パフォーマンス境界のベンチマークに役立つ。
これにより、トレーニングデータサイズ、データ次元、データ幾何学、ノイズ、トレーニング条件とテスト条件のミスマッチの影響をテストできます。
論文 参考訳（メタデータ） (2020-11-18T00:33:24Z) - The training accuracy of two-layer neural networks: its estimation and
understanding using random datasets [0.0]
本研究では,空間分割に基づく新しい理論を提案し,ランダムデータセット上の2層ニューラルネットワークのトレーニング精度をトレーニングなしで推定する。
提案手法は,3つの引数のみを用いて,2種類のランダムデータセット上での2層完全連結ニューラルネットワークのトレーニング精度を推定する。
論文 参考訳（メタデータ） (2020-10-26T07:21:29Z) - Tighter risk certificates for neural networks [10.462889461373226]
ここでは、ニューラルネットワークのトレーニングに関連して、初めて使用するトレーニング目標を2つ提示する。
また,従来のPAC-Bayes境界に基づいて,従来使用されていたトレーニング目標を再実装する。
我々は、予測器の学習に使用されるデータの一部に基づいて、学習者予測器のリスク証明書を算出する。
論文 参考訳（メタデータ） (2020-07-25T11:02:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。