論文の概要: Convergence Analysis of Two-Layer Neural Networks under Gaussian Input Masking

• arxiv url: http://arxiv.org/abs/2602.17423v1
• Date: Thu, 19 Feb 2026 14:55:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:29.104904
• Title: Convergence Analysis of Two-Layer Neural Networks under Gaussian Input Masking
• Title（参考訳）: ガウス入力マスキングによる2層ニューラルネットワークの収束解析
• Authors: Afroditi Kolomvaki, Fangshuo Liao, Evan Dramko, Ziyun Guang, Anastasios Kyrillidis,
• Abstract要約: ガウス的にランダムにマスクされた入力を持つ2層ReLUネットワークのトレーニングは、マスクの分散に比例する誤差領域まで線形収束する。 重要な技術的貢献は、非線形アクティベーションにおけるランダム性、すなわち独立した関心の問題を解決することである。
• 参考スコア（独自算出の注目度）: 8.682969188786123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the convergence guarantee of two-layer neural network training with Gaussian randomly masked inputs. This scenario corresponds to Gaussian dropout at the input level, or noisy input training common in sensor networks, privacy-preserving training, and federated learning, where each user may have access to partial or corrupted features. Using a Neural Tangent Kernel (NTK) analysis, we demonstrate that training a two-layer ReLU network with Gaussian randomly masked inputs achieves linear convergence up to an error region proportional to the mask's variance. A key technical contribution is resolving the randomness within the non-linear activation, a problem of independent interest.
• Abstract（参考訳）: ガウスのランダムマスク入力を用いた2層ニューラルネットワークトレーニングの収束保証について検討する。 このシナリオは、入力レベルでのガウス的なドロップアウト、あるいはセンサーネットワークで一般的なノイズの多い入力トレーニング、プライバシ保護トレーニング、フェデレーション学習に対応している。 ニューラル・タンジェント・カーネル(NTK)解析を用いて、ガウスのランダムなマスク入力による2層ReLUネットワークのトレーニングが、マスクの分散に比例する誤差領域まで線形収束することを示した。 重要な技術的貢献は、非線形アクティベーションにおけるランダム性、すなわち独立した関心の問題を解決することである。

関連論文リスト

• Ultra-fast feature learning for the training of two-layer neural networks in the two-timescale regime [26.47265060394168]
  本研究では,平均場隠れ型ニューラルネットワークの学習方法の収束について検討する。 本研究では,教師の特徴分布の抽出に有効な収束率を実現する戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-25T09:40:10Z)
• Uncertainty propagation in feed-forward neural network models [3.987067170467799]
  我々はフィードフォワードニューラルネットワークアーキテクチャのための新しい不確実性伝搬法を開発した。 ニューラルネットワーク出力の確率密度関数(PDF)の解析式を導出する。 鍵となる発見は、リークReLU活性化関数の適切な線形化が正確な統計的結果をもたらすことである。
  論文  参考訳（メタデータ） (2025-03-27T00:16:36Z)
• An Analytic Solution to Covariance Propagation in Neural Networks [10.013553984400488]
  本稿では,ニューラルネットワークの入出力分布を正確に特徴付けるために,サンプルフリーモーメント伝搬法を提案する。 この手法の鍵となる有効性は、非線形活性化関数を通した確率変数の共分散に対する解析解である。 学習ニューラルネットワークの入力出力分布を分析し,ベイズニューラルネットワークを訓練する実験において,提案手法の適用性およびメリットを示す。
  論文  参考訳（メタデータ） (2024-03-24T14:08:24Z)
• Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy [52.40331776572531]
  ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。 この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
  論文  参考訳（メタデータ） (2023-02-15T02:00:26Z)
• Provably Bounding Neural Network Preimages [18.810882386083655]
  InVPROPアルゴリズムは線形に制約された出力セットの事前画像上の特性を検証する。 他のアプローチとは対照的に、効率的なアルゴリズムはGPU加速であり、線形プログラミング解決器を必要としない。 その結果, 従来よりも2.5倍速く, 2500倍以上の過近似が得られていることがわかった。
  論文  参考訳（メタデータ） (2023-02-02T20:34:45Z)
• Learning and generalization of one-hidden-layer neural networks, going beyond standard Gaussian data [14.379261299138147]
  本稿では,入力特徴がガウス混合モデルに従えば,一層ニューラルネットワークの収束と反復を解析する。 本論文は,入力分布がサンプルに与える影響と学習率に与える影響を初めて特徴付ける。
  論文  参考訳（メタデータ） (2022-07-07T23:27:44Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。