論文の概要: Deep learning with missing data

• arxiv url: http://arxiv.org/abs/2504.15388v2
• Date: Tue, 29 Apr 2025 10:07:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:52.753456
• Title: Deep learning with missing data
• Title（参考訳）: 欠落データによる深層学習
• Authors: Tianyi Ma, Tengyao Wang, Richard J. Samworth,
• Abstract要約: 本稿では,既存の計算手法と組み合わせて適用可能なパターン埋め込みニューラルネットワーク(PENN)を提案する。 インプットされたデータに基づいてトレーニングされたニューラルネットワークに加えて、PENNは観察指標のベクトルを第2のニューラルネットワークに渡して、コンパクトな表現を提供する。 出力は第3のニューラルネットワークに結合され、最終的な予測が生成される。
• 参考スコア（独自算出の注目度）: 3.829599191332801
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the context of multivariate nonparametric regression with missing covariates, we propose Pattern Embedded Neural Networks (PENNs), which can be applied in conjunction with any existing imputation technique. In addition to a neural network trained on the imputed data, PENNs pass the vectors of observation indicators through a second neural network to provide a compact representation. The outputs are then combined in a third neural network to produce final predictions. Our main theoretical result exploits an assumption that the observation patterns can be partitioned into cells on which the Bayes regression function behaves similarly, and belongs to a compositional H\"older class. It provides a finite-sample excess risk bound that holds for an arbitrary missingness mechanism, and in combination with a complementary minimax lower bound, demonstrates that our PENN estimator attains in typical cases the minimax rate of convergence as if the cells of the partition were known in advance, up to a poly-logarithmic factor in the sample size. Numerical experiments on simulated, semi-synthetic and real data confirm that the PENN estimator consistently improves, often dramatically, on standard neural networks without pattern embedding. Code to reproduce our experiments, as well as a tutorial on how to apply our method, is publicly available.
• Abstract（参考訳）: 共変量のない多変量非パラメトリック回帰(PENN)の文脈では,既存の計算手法と組み合わせて適用可能なパターン埋め込みニューラルネットワーク(PENN)を提案する。 インプットされたデータに基づいてトレーニングされたニューラルネットワークに加えて、PENNは観察指標のベクトルを第2のニューラルネットワークに渡して、コンパクトな表現を提供する。 出力は第3のニューラルネットワークに結合され、最終的な予測が生成される。 本理論は,ベイズ回帰関数が同様に振る舞うセルに観察パターンを分割し,構成的H\"古いクラスに属すると仮定する。 任意の欠損機構を保った有限サンプル過剰リスクバウンドを提供し、補完的なミニマックス下限と組み合わせることで、PENN推定器は、通常の場合において、分割のセルが予め知られているように、標本サイズの多変量係数まで収束率の最小値が得られることを示す。 シミュレーション、半合成、実データに関する数値実験により、PENN推定器がパターン埋め込みなしで標準ニューラルネットワーク上で一貫して、しばしば劇的に改善されることが確認された。 実験を再現するコードや,メソッドの適用方法に関するチュートリアルが公開されている。

関連論文リスト

• Uncertainty propagation in feed-forward neural network models [3.987067170467799]
  我々はフィードフォワードニューラルネットワークアーキテクチャのための新しい不確実性伝搬法を開発した。 ニューラルネットワーク出力の確率密度関数(PDF)の解析式を導出する。 鍵となる発見は、リークReLU活性化関数の適切な線形化が正確な統計的結果をもたらすことである。
  論文  参考訳（メタデータ） (2025-03-27T00:16:36Z)
• Semi-Supervised Deep Sobolev Regression: Estimation and Variable Selection by ReQU Neural Network [3.4623717820849476]
  本研究では、下層の回帰関数とその勾配の非パラメトリック推定のための半教師付きディープソボレフ回帰器SDOREを提案する。 我々の研究は、SDOREの収束速度を$L2$-normで徹底的に分析し、ミニマックス最適性を達成することを含む。
  論文  参考訳（メタデータ） (2024-01-09T13:10:30Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Bagged Polynomial Regression and Neural Networks [0.0]
  時系列とデータセットの回帰は、ニューラルネットワークと同じ関数クラスを近似することができる。 textitbagged regression (BPR)は、ニューラルネットワークの魅力的な代替品である。 BPRは、衛星データを用いた作物分類において、ニューラルネットワークと同様に機能する。
  論文  参考訳（メタデータ） (2022-05-17T19:55:56Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Path classification by stochastic linear recurrent neural networks [2.5499055723658097]
  トレーニングや分類作業に利用されるユニークな情報として,RNNが供給される経路の部分的なシグネチャを保持することを示す。 これらのRNNは訓練が容易で堅牢であり、これらの観測を合成データと実データの両方で数値実験で裏付けるものである、と我々は主張する。
  論文  参考訳（メタデータ） (2021-08-06T12:59:12Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Multi-Sample Online Learning for Spiking Neural Networks based on Generalized Expectation Maximization [42.125394498649015]
  スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。 本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。 鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
  論文  参考訳（メタデータ） (2021-02-05T16:39:42Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。