論文の概要: Edgeworth expansions for network moments
- arxiv url: http://arxiv.org/abs/2004.06615v2
- Date: Mon, 4 Jan 2021 05:08:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 10:18:54.317763
- Title: Edgeworth expansions for network moments
- Title（参考訳）: ネットワークモーメントのためのエッジワース拡張
- Authors: Yuan Zhang, Dong Xia
- Abstract要約: We present the first higher-order accurate approximation to the sample CDF of a studentized network moment by Edgeworth expansion。
スパースネットワークの場合、単純な正規近似は、ネットワークがスペーサーになるにつれて、徐々に劣化するベリー・エッシー境界を実現する。
- 参考スコア（独自算出の注目度）: 20.058158445038824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Network method of moments arXiv:1202.5101 is an important tool for
nonparametric network inference. However, there has been little investigation
on accurate descriptions of the sampling distributions of network moment
statistics. In this paper, we present the first higher-order accurate
approximation to the sampling CDF of a studentized network moment by Edgeworth
expansion. In sharp contrast to classical literature on noiseless U-statistics,
we show that the Edgeworth expansion of a network moment statistic as a noisy
U-statistic can achieve higher-order accuracy without non-lattice or smoothness
assumptions but just requiring weak regularity conditions. Behind this result
is our surprising discovery that the two typically-hated factors in network
analysis, namely, sparsity and edge-wise observational errors, jointly play a
blessing role, contributing a crucial self-smoothing effect in the network
moment statistic and making it analytically tractable. Our assumptions match
the minimum requirements in related literature. For sparse networks, our theory
shows a simple normal approximation achieves a gradually depreciating
Berry-Esseen bound as the network becomes sparser. This result also refines the
best previous theoretical result.
For practitioners, our empirical Edgeworth expansion is highly accurate, fast
and easy to implement. We demonstrate the clear advantage of our method by
comprehensive simulation studies.
We showcase three applications of our results in network inference. We prove,
to our knowledge, the first theoretical guarantee of higher-order accuracy for
some network bootstrap schemes, and moreover, the first theoretical guidance
for selecting the sub-sample size for network sub-sampling. We also derive
one-sample test and Cornish-Fisher confidence interval for a given moment with
higher-order accurate controls of confidence level and type I error,
respectively.
- Abstract（参考訳）: モーメントのネットワーク法 arxiv:1202.5101 は非パラメトリックネットワーク推論の重要なツールである。
しかし,ネットワークモーメント統計のサンプリング分布の正確な記述についてはほとんど調査されていない。
本稿では,Edgeworth拡張による学生ネットワークモーメントのサンプリングCDFに対して,最初の高次精度近似を提案する。
ノイズのないU-統計学に関する古典文学とは対照的に、ノイズの多いU-統計学としてのネットワークモーメントのエッジワース展開は、非格子や滑らかさの仮定なしに高次精度を達成できるが、弱い正規性条件を必要とする。
この結果の背後には、ネットワーク分析の典型的な2つの要因、すなわちスパーシティとエッジサイドの観測誤差が、ネットワークモーメント統計において重要な自己喫煙効果を寄与し、分析的に扱いやすい役割を担っているという驚くべき発見があります。
我々の仮定は関連する文献の最小要件と一致する。
スパースネットワークの場合、単純な正規近似は、ネットワークがスペーサーになるにつれて徐々に劣化するベリー・エッシー境界を実現する。
この結果はまた、前回の最良の理論結果を洗練する。
実践者にとって、Edgeworthの拡張は極めて正確で、高速で実装が容易です。
総合シミュレーション研究により,本手法の利点を明らかにした。
ネットワーク推論における結果の応用例を3つ紹介する。
我々の知る限り、ネットワークブートストラップ方式の高次精度に関する最初の理論的保証と、ネットワークサブサンプリングのためのサブサンプルサイズを選択するための最初の理論的ガイダンスを証明している。
また, 信頼度とI型誤差の高次精度制御により, 与えられたモーメントに対して, 単サンプル試験とコーニッシュ・フィッシャー信頼区間を導出する。
関連論文リスト
- Quantifying lottery tickets under label noise: accuracy, calibration,
and complexity [6.232071870655069]
ディープニューラルネットワークのプルーニングは、機械学習の計算負担を軽減するために広く利用されている戦略である。
スパース二重降下法を用いて一意的に同定し,分類タスクに付随するプルーンドモデルを特徴付ける。
論文 参考訳（メタデータ） (2023-06-21T11:35:59Z) - ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference [54.17205151960878]
汎用的でデプロイが容易なサンプリング不要のアプローチを導入します。
我々は,最先端手法と同等の信頼性のある不確実性推定を,計算コストを著しく低減した形で生成する。
論文 参考訳（メタデータ） (2022-11-21T13:23:09Z) - CNN-based Prediction of Network Robustness With Missing Edges [0.9239657838690227]
部分的なネットワーク情報が欠落している場合、CNNによる接続性および制御可能性予測の性能について検討する。
しきい値として、7.29%以上の情報が失われれば、CNNベースの予測の性能は著しく劣化する。
論文 参考訳（メタデータ） (2022-08-25T03:36:20Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - How much pre-training is enough to discover a good subnetwork? [10.699603774240853]
刈り取られたネットワークが正常に動作するために必要となる高密度ネットワーク事前学習の量を数学的に解析する。
2層全接続ネットワーク上での勾配降下事前学習の回数の単純な理論的境界を求める。
より大きなデータセットでの実験では、プルーニングによって得られた事前トレーニングのフォアワークがうまく機能するために必要になる。
論文 参考訳（メタデータ） (2021-07-31T15:08:36Z) - Robustness to Pruning Predicts Generalization in Deep Neural Networks [29.660568281957072]
トレーニングの損失に悪影響を与えることなく、pruning中に維持できるネットワークのパラメータの最小の屈折であるprunabilityを紹介します。
この測定は、CIFAR-10で訓練された大規模な畳み込みネットワーク全体のモデル一般化性能を非常に予測できることを示した。
論文 参考訳（メタデータ） (2021-03-10T11:39:14Z) - Lost in Pruning: The Effects of Pruning Neural Networks beyond Test
Accuracy [42.15969584135412]
ニューラルネットワークプルーニングは、現代のネットワークの推論コストを削減するために使用される一般的な技術です。
試験精度のみを終了条件で使用するだけで、結果のモデルが正常に機能するかどうかを評価します。
刈り取られたネットワークは、効果的に未刈り込みモデルに近似するが、刈り取られたネットワークがコンメンシュレートのパフォーマンスを達成できるプルー比はタスクによって大きく異なる。
論文 参考訳（メタデータ） (2021-03-04T13:22:16Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳（メタデータ） (2021-02-17T18:59:28Z) - Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。
具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。
提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文 参考訳（メタデータ） (2020-12-16T20:16:28Z) - Towards Practical Lottery Ticket Hypothesis for Adversarial Training [78.30684998080346]
トレーニングプロセス中にはるかに高速に収束する,前述のサブネットワークのサブセットが存在することを示す。
本研究の実践的応用として,このようなサブネットワークは,対人訓練の総時間を短縮する上で有効であることを示す。
論文 参考訳（メタデータ） (2020-03-06T03:11:52Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。