論文の概要: Maximum Mean Discrepancy Meets Neural Networks: The
Radon-Kolmogorov-Smirnov Test
- arxiv url: http://arxiv.org/abs/2309.02422v3
- Date: Mon, 6 Nov 2023 23:17:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 19:06:08.966685
- Title: Maximum Mean Discrepancy Meets Neural Networks: The
Radon-Kolmogorov-Smirnov Test
- Title（参考訳）: ニューラルネットワークの最大の違い - Radon-Kolmogorov-Smirnovテスト
- Authors: Seunghoon Paik, Michael Celentano, Alden Green, Ryan J. Tibshirani
- Abstract要約: 与えられた滑らか度次数$k geq 0$のRBV空間における単位球である$mathcalF$の関数について検討する。
このテストは、よく知られた古典的コルモゴロフ・スミルノフ(KS)テストの多次元および高次滑らか性への一般化と見なすことができる。
我々は、RKSテストの根底にある基準を最適化するために、現代のディープラーニングツールキットの力を活用します。
- 参考スコア（独自算出の注目度）: 5.255750357176021
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Maximum mean discrepancy (MMD) refers to a general class of nonparametric
two-sample tests that are based on maximizing the mean difference over samples
from one distribution $P$ versus another $Q$, over all choices of data
transformations $f$ living in some function space $\mathcal{F}$. Inspired by
recent work that connects what are known as functions of $\textit{Radon bounded
variation}$ (RBV) and neural networks (Parhi and Nowak, 2021, 2023), we study
the MMD defined by taking $\mathcal{F}$ to be the unit ball in the RBV space of
a given smoothness order $k \geq 0$. This test, which we refer to as the
$\textit{Radon-Kolmogorov-Smirnov}$ (RKS) test, can be viewed as a
generalization of the well-known and classical Kolmogorov-Smirnov (KS) test to
multiple dimensions and higher orders of smoothness. It is also intimately
connected to neural networks: we prove that the witness in the RKS test -- the
function $f$ achieving the maximum mean difference -- is always a ridge spline
of degree $k$, i.e., a single neuron in a neural network. This allows us to
leverage the power of modern deep learning toolkits to (approximately) optimize
the criterion that underlies the RKS test. We prove that the RKS test has
asymptotically full power at distinguishing any distinct pair $P \not= Q$ of
distributions, derive its asymptotic null distribution, and carry out extensive
experiments to elucidate the strengths and weakenesses of the RKS test versus
the more traditional kernel MMD test.
- Abstract（参考訳）: 最大平均差分法(英: Maximum mean discrepancy, MMD)とは、ある関数空間に生きるデータ変換のすべての選択に対して$P$と他の$Q$との平均差を最大化することに基づく、非パラメトリックな2サンプルテストの一般的なクラスを指す。
我々は,$\textit{radon bounded variation}$ (rbv) とニューラルネットワーク (parhi and nowak, 2021, 2023) の関数をつなぐ最近の研究に触発されて,与えられた滑らかな順序 $k \geq 0$ の rbv 空間における単位球として $\mathcal{f}$ を取ることで定義される mmd について検討した。
このテストは$\textit{radon-kolmogorov-smirnov}$ (rks) テストと呼ばれ、よく知られた古典的なkolmogorov-smirnov (ks) テストの多次元および高次な滑らかさへの一般化と見なすことができる。
RKSテストの目撃者 – 最大平均差を達成する関数$f$ – は常に、ニューラルネットワーク内の1つのニューロンのリッジスプラインである、ということを証明します。
これにより、現代のディープラーニングツールキットのパワーを活用して、RKSテストの基盤となる基準を最適化できます。
我々は、RKSテストが任意の異なるペア$P \not=Q$の分布を区別し、その漸近的なヌル分布を導出し、RKSテストの強度と弱みを従来のカーネルMDテストと比較する広範な実験を行うことを証明した。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Collaborative non-parametric two-sample testing [55.98760097296213]
目標は、null仮説の$p_v = q_v$が拒否されるノードを特定することである。
グラフ構造を効率的に活用する非パラメトリックコラボレーティブ2サンプルテスト(CTST)フレームワークを提案する。
提案手法は,f-divergence Estimation, Kernel Methods, Multitask Learningなどの要素を統合する。
論文 参考訳（メタデータ） (2024-02-08T14:43:56Z) - Kernel-Based Tests for Likelihood-Free Hypothesis Testing [21.143798051525646]
2つのバランスの取れたクラスから$n$の観測が与えられたとき、追加の$m$入力をラベル付けするタスクを考える。
この問題の特別なケースはよく知られており、$m=1$はバイナリ分類に対応し、$mapprox n$は2サンプルテストに相当する。
最近の研究で、$m$と$n$の間に根本的なトレードオフがあることが判明した。
論文 参考訳（メタデータ） (2023-08-17T15:24:03Z) - Degree Heterogeneity in Higher-Order Networks: Inference in the Hypergraph $\boldsymbolβ$-Model [4.540236408836132]
複数層からなるハイパーグラフ $boldsymbolbeta$-model について検討した。
最大極大推定値(ML)の収束率を導出し,その最小値の最適性を確立する。
また、ハイパーグラフ $boldsymbolbeta$-model における適合性の問題についても考察する。
論文 参考訳（メタデータ） (2023-07-06T07:23:06Z) - Neural Inference of Gaussian Processes for Time Series Data of Quasars [72.79083473275742]
クエーサースペクトルを完全に記述できる新しいモデルを提案する。
また、$textitNeural Inference$というガウス的プロセスパラメータの推論の新しいメソッドも導入しています。
CDRWモデルとNeural Inferenceの組み合わせはベースラインのDRWとMLEを大きく上回っている。
論文 参考訳（メタデータ） (2022-11-17T13:01:26Z) - A Manifold Two-Sample Test Study: Integral Probability Metric with
Neural Networks [46.62713126719579]
2サンプルテストは、2つの観測コレクションが同じ分布に従うかどうかを判断する重要な領域である。
低次元多様体上に支持された高次元試料に対する積分確率距離(IPM)に基づく2サンプル試験を提案する。
提案手法は,データ次元ではなく本質的な次元に大きく依存するため,低次元の幾何学的構造に適応する。
論文 参考訳（メタデータ） (2022-05-04T13:03:31Z) - Deformed semicircle law and concentration of nonlinear random matrices
for ultra-wide neural networks [29.03095282348978]
本稿では、$f(X)$に付随する2つの経験的カーネル行列のスペクトル分布の制限について検討する。
経験的カーネルによって誘導されるランダムな特徴回帰は、超広範体制下でのカーネル回帰の制限と同じ性能を達成することを示す。
論文 参考訳（メタデータ） (2021-09-20T05:25:52Z) - Fundamental tradeoffs between memorization and robustness in random
features and neural tangent regimes [15.76663241036412]
モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。
実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
論文 参考訳（メタデータ） (2021-06-04T17:52:50Z) - The Sample Complexity of Robust Covariance Testing [56.98280399449707]
i. i. d.
形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。
汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。
サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
論文 参考訳（メタデータ） (2020-12-31T18:24:41Z) - Adjusted chi-square test for degree-corrected block models [13.122543280692641]
次数補正ブロックモデル(DCSBM)の適合性テストを提案する。
単純な調整により、$d_i$ の調和平均が無限に成長する限り、統計は null の下で分布に収束する。
我々の分布結果は漸近的ではなく、明示的な定数を持ち、目標分布へのコルモゴロフ-スミルノフ距離の有限サンプル境界を与える。
論文 参考訳（メタデータ） (2020-12-30T05:20:59Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-09T07:09:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。