論文の概要: Measurement error models: from nonparametric methods to deep neural networks

• arxiv url: http://arxiv.org/abs/2007.07498v1
• Date: Wed, 15 Jul 2020 06:05:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 05:29:15.568815
• Title: Measurement error models: from nonparametric methods to deep neural networks
• Title（参考訳）: 測定誤差モデル:非パラメトリック手法からディープニューラルネットワークへ
• Authors: Zhirui Hu, Zheng Tracy Ke, Jun S Liu
• Abstract要約: 本稿では,測定誤差モデルの推定に有効なニューラルネットワーク設計を提案する。 完全に接続されたフィードフォワードニューラルネットワークを用いて回帰関数を$f(x)$に近似する。 我々は、ニューラルネットワークアプローチと古典的ノンパラメトリック手法を比較するために、広範囲にわたる数値的研究を行っている。
• 参考スコア（独自算出の注目度）: 3.1798318618973362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of deep learning has inspired recent interests in applying neural networks in statistical inference. In this paper, we investigate the use of deep neural networks for nonparametric regression with measurement errors. We propose an efficient neural network design for estimating measurement error models, in which we use a fully connected feed-forward neural network (FNN) to approximate the regression function $f(x)$, a normalizing flow to approximate the prior distribution of $X$, and an inference network to approximate the posterior distribution of $X$. Our method utilizes recent advances in variational inference for deep neural networks, such as the importance weight autoencoder, doubly reparametrized gradient estimator, and non-linear independent components estimation. We conduct an extensive numerical study to compare the neural network approach with classical nonparametric methods and observe that the neural network approach is more flexible in accommodating different classes of regression functions and performs superior or comparable to the best available method in nearly all settings.
• Abstract（参考訳）: ディープラーニングの成功は、統計推論にニューラルネットワークを適用することに対する最近の関心に影響を与えた。 本稿では,測定誤差を伴う非パラメトリック回帰に対するディープニューラルネットワークの利用について検討する。 本研究では,回帰関数 $f(x)$ を近似する完全連結フィードフォワードニューラルネットワーク (fnn) と,事前分布を近似する正規化フローと,x$ の後方分布を近似する推論ネットワークを用いた,計測誤差モデル推定のための効率的なニューラルネットワーク設計を提案する。 本手法は,重み付きオートエンコーダ,二重再パラメータ化勾配推定器,非線形独立成分推定など,ディープニューラルネットワークの変分推論の最近の進歩を活用している。 ニューラルネットワークアプローチを古典的非パラメトリック手法と比較し、回帰関数の異なるクラスを調節する上で、ニューラルネットワークアプローチがより柔軟であり、ほぼすべての設定で最も優れた、あるいは同等の手法を実行することを観察する。

関連論文リスト

• Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
  大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。 この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
  論文  参考訳（メタデータ） (2024-04-29T23:38:58Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Sup-Norm Convergence of Deep Neural Network Estimator for Nonparametric Regression by Adversarial Training [5.68558935178946]
  ニュートラルニューラルネットワーク推定器の超ノルム収束を,新しい対角トレーニング方式で示す。 深部ニューラルネットワーク推定器は、補正付き対向訓練により、超ノルム感覚の最適率を達成する。
  論文  参考訳（メタデータ） (2023-07-08T20:24:14Z)
• Optimal rates of approximation by shallow ReLU$^k$ neural networks and applications to nonparametric regression [12.21422686958087]
  本研究では、浅いReLU$k$のニューラルネットワークに対応する変動空間の近似能力について検討する。 滑らかさの低い関数に対しては、変動ノルムの観点から近似率が確立される。 浅層ニューラルネットワークは,H"古い関数の学習に最適な最小値が得られることを示す。
  論文  参考訳（メタデータ） (2023-04-04T06:35:02Z)
• Global quantitative robustness of regression feed-forward neural networks [0.0]
  我々は回帰分解点の概念を回帰ニューラルネットワークに適用する。 我々は、故障率のプロキシにより、サンプル外損失によって測定された性能を比較した。 この結果は、ニューラルネットワークのトレーニングにロバストな損失関数を使うことを動機付けている。
  論文  参考訳（メタデータ） (2022-11-18T09:57:53Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Neuron-based Pruning of Deep Neural Networks with Better Generalization using Kronecker Factored Curvature Approximation [18.224344440110862]
  提案アルゴリズムは、ヘッセンのスペクトル半径を探索することにより、圧縮されたモデルのパラメータを平らな解へ向ける。 以上の結果から, ニューロン圧縮における最先端の結果が向上することが示唆された。 この手法は、異なるニューラルネットワークモデル間で小さな精度で、非常に小さなネットワークを実現することができる。
  論文  参考訳（メタデータ） (2021-11-16T15:55:59Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。