論文の概要: DebiNet: Debiasing Linear Models with Nonlinear Overparameterized Neural Networks

• arxiv url: http://arxiv.org/abs/2011.00417v2
• Date: Mon, 25 Jan 2021 00:50:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 23:03:38.141171
• Title: DebiNet: Debiasing Linear Models with Nonlinear Overparameterized Neural Networks
• Title（参考訳）: DebiNet:非線形過パラメータニューラルネットワークによる線形モデルのデバイアス
• Authors: Shiyun Xu, Zhiqi Bu
• Abstract要約: パラメータ化ニューラルネットワークを半パラメトリックモデルに組み込んで推論と予測のギャップを埋める。 我々はこれを可能とし、数値実験で実証する理論的基礎を示す。 半パラメトリックニューラルネットワークに任意の特徴選択手法をプラグインするフレームワークであるDebiNetを提案する。
• 参考スコア（独自算出の注目度）: 11.04121146441257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed strong empirical performance of over-parameterized neural networks on various tasks and many advances in the theory, e.g. the universal approximation and provable convergence to global minimum. In this paper, we incorporate over-parameterized neural networks into semi-parametric models to bridge the gap between inference and prediction, especially in the high dimensional linear problem. By doing so, we can exploit a wide class of networks to approximate the nuisance functions and to estimate the parameters of interest consistently. Therefore, we may offer the best of two worlds: the universal approximation ability from neural networks and the interpretability from classic ordinary linear model, leading to both valid inference and accurate prediction. We show the theoretical foundations that make this possible and demonstrate with numerical experiments. Furthermore, we propose a framework, DebiNet, in which we plug-in arbitrary feature selection methods to our semi-parametric neural network. DebiNet can debias the regularized estimators (e.g. Lasso) and perform well, in terms of the post-selection inference and the generalization error.
• Abstract（参考訳）: 近年では、様々なタスクにおける超パラメータニューラルネットワークの強力な経験的性能と理論の多くの進歩、例えば普遍近似や証明可能な大域的最小値への収束が目撃されている。 本稿では,超パラメータニューラルネットワークを半パラメトリックモデルに組み込んで,特に高次元線形問題における推論と予測のギャップを埋める。 これにより、幅広い種類のネットワークを利用してニュアンス関数を近似し、関心のパラメータを一貫して推定することができる。 したがって、ニューラルネットワークの普遍近似能力と古典的一般線形モデルからの解釈可能性の2つの世界の中で最高のものを提供し、妥当な推測と正確な予測をもたらす。 これを可能にする理論的基礎を示し,数値実験により実証する。 さらに,半パラメトリックニューラルネットワークに任意の特徴選択手法をプラグインするフレームワークであるDebiNetを提案する。 DebiNetは正規化推定器(例えばLasso)をデバイアスし、選択後の推測と一般化誤差の観点からうまく機能する。

関連論文リスト

• Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
  大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。 この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
  論文  参考訳（メタデータ） (2024-04-29T23:38:58Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Over-parameterised Shallow Neural Networks with Asymmetrical Node Scaling: Global Convergence Guarantees and Feature Learning [23.47570704524471]
  我々は,各隠れノードの出力を正のパラメータでスケールする勾配流による大規模および浅層ニューラルネットワークの最適化を検討する。 大規模なニューラルネットワークでは、高い確率で勾配流がグローバルな最小限に収束し、NTK体制とは異なり、特徴を学習できることを実証する。
  論文  参考訳（メタデータ） (2023-02-02T10:40:06Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• ExSpliNet: An interpretable and expressive spline-based neural network [0.3867363075280544]
  本稿では,解釈可能な表現型ニューラルネットワークモデルであるExSpliNetを提案する。 我々はモデルを確率論的に解釈し、その普遍近似特性を示す。
  論文  参考訳（メタデータ） (2022-05-03T14:06:36Z)
• Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
  本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。 本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T20:50:54Z)
• Measurement error models: from nonparametric methods to deep neural networks [3.1798318618973362]
  本稿では,測定誤差モデルの推定に有効なニューラルネットワーク設計を提案する。 完全に接続されたフィードフォワードニューラルネットワークを用いて回帰関数を$f(x)$に近似する。 我々は、ニューラルネットワークアプローチと古典的ノンパラメトリック手法を比較するために、広範囲にわたる数値的研究を行っている。
  論文  参考訳（メタデータ） (2020-07-15T06:05:37Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。