論文の概要: Annealed correlation and quenched noise sensitivity in biased deep neural networks

• arxiv url: http://arxiv.org/abs/2610.27983v1
• Date: Tue, 20 Oct 2026 10:24:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.762398
• Title: Annealed correlation and quenched noise sensitivity in biased deep neural networks
• Title（参考訳）: バイアス付きディープニューラルネットワークにおける焼鈍相関と焼鈍雑音感度
• Abstract要約: 広帯域の摂動において, 消音感度が維持されることが示唆された。 加熱ノイズ感度は、入力が元の入力と一致しそうにないという最小限の要件を満たす。
• 参考スコア（独自算出の注目度）: 1.1252728925416642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In earlier work by Jonasson, Steif and Zetterqvist (2023), fully connected deep neural networks with layers of width $n$, i.i.d.\ standard Gaussian weights, sign activations and no bias terms were shown to be annealed and quenched noise sensitive with respect to any joint probability distribution $\mathbb{Q}^{(n)}$ on the input $\boldsymbolω$ and its perturbation $\boldsymbolη$ satisfying a mild positive-correlation condition and $\mathbb{Q}^{(n)}(\boldsymbolη \in \{\boldsymbolω,-\boldsymbolω\}) \to 0$. Here we add independent Gaussian biases of the natural order and show that quenched noise sensitivity is retained over a broad range of depths, indeed under the slightly weaker assumption that $\mathbb{Q}^{(n)}(\boldsymbolω = \boldsymbolη) \to 0$. Thus, subject to the positive-correlation condition, quenched noise sensitivity holds under the minimal requirement that the perturbed input is asymptotically unlikely to coincide with the original input. At the same time, the annealed covariance remains bounded away from zero and is entirely accounted for by fluctuations in the network-dependent output means.
• Abstract（参考訳）: Jonasson, Steif and Zetterqvist (2023) による初期の研究では、幅$n$、すなわち標準ガウスの重み、符号のアクティベーション、バイアス項のない完全連結のディープニューラルネットワークは、任意の結合確率分布に対して熱処理され、焼成されたノイズに敏感であることが示され、入力$\boldsymbolω$とその摂動条件である$\boldsymbolη$と、弱正相関条件を満たす$\boldsymbolη$と$\mathbb{Q}^{(n)}(\boldsymbolη \in \{\boldsymbolω,-\boldsymbolω\}) \to 0$であった。 ここでは、自然順序の独立ガウスバイアスを加え、焼成雑音感度が広い範囲の深さで維持されることを示し、実際には$\mathbb{Q}^{(n)}(\boldsymbolω = \boldsymbolη) \to 0$ という少し弱い仮定の下にある。 したがって、正相関条件下では、焼成雑音感度は、摂動入力が原入力と漸近的に一致しそうにないという最小限の要件を満たす。 同時に、アニールされた共分散はゼロから切り離されたままであり、ネットワーク依存出力手段のゆらぎによって完全に説明される。

関連論文リスト

• Polynomial Learning of Positive ReLU Networks under Gaussian Inputs [7.390615334369365]
  標準ガウス入力の下で, 正, 無バイアス, 単層ReLUネットワークについて検討する。 隠れた方向の仮定を分離したり条件付けしたりすることなく、サンプル誤差と実数演算の複雑さを持つアルゴリズムを得る。
  論文  参考訳（メタデータ） (2026-10-18T08:46:44Z)
• On the Superlinear Relationship between SGD Noise Covariance and Loss Landscape Curvature [1.6773271875801752]
  グラディエントDescent (SGD) は、損失ランドスケープの局所曲率と相関する異方性雑音を導入し、平坦なミニマに対して最適化を行う。 この仮定は、ディープニューラルネットワークでは通常違反される制約条件下でのみ成立することを示す。 データセット、アーキテクチャ、損失関数にわたる実験は、これらの境界を検証し、ディープラーニングにおけるノイズ-曲率関係を統一的に評価する。
  論文  参考訳（メタデータ） (2026-02-05T12:35:13Z)
• Stabilizing Fixed-Point Iteration for Markov Chain Poisson Equations [49.702772230127465]
  有限状態マルコフ鎖を$n$状態と遷移行列$P$で研究する。 すべての非退化モードが実周辺不変部分空間 $mathcalK(P)$ によってキャプチャされ、商空間 $mathbbRn/mathcalK(P) 上の誘導作用素が厳密に収縮し、ユニークな商解が得られることを示す。
  論文  参考訳（メタデータ） (2026-01-31T02:57:01Z)
• Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
  等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。 平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
  論文  参考訳（メタデータ） (2025-04-28T16:58:55Z)
• On Leaky-Integrate-and Fire as Spike-Train-Quantization Operator on Dirac-Superimposed Continuous-Time Signals [0.5439020425819]
  Leaky-integrate-and-fire (LIF) は、積分可能な信号$f$を離散イベントのシーケンス$eta_f$にマッピングする非線形演算子として研究される。 局所可積分性の一般条件下では、漏れパラメータ $alpha$ を持つ量子化公式 $|eta_f - f|_A, alpha$ が証明される。
  論文  参考訳（メタデータ） (2024-02-10T17:07:19Z)
• On the Accuracy of Hotelling-Type Asymmetric Tensor Deflation: A Random Tensor Analysis [14.809070996761013]
  ホテルリング型テンソルデフレレーションはノイズの存在下で研究されている。 我々は,デフレ手順の各ステップにおいて,推定特異値と推定および真の特異ベクトルのアライメントを解析的に特徴付ける。
  論文  参考訳（メタデータ） (2023-10-28T14:40:10Z)
• Generalization and Stability of Interpolating Neural Networks with Minimal Width [37.908159361149835]
  補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。 トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。 m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
  論文  参考訳（メタデータ） (2023-02-18T05:06:15Z)
• CARD: Classification and Regression Diffusion Models [51.0421331214229]
  本稿では,条件生成モデルと事前学習条件平均推定器を組み合わせた分類と回帰拡散(CARD)モデルを提案する。 おもちゃの例と実世界のデータセットを用いて条件分布予測におけるCARDの卓越した能力を示す。
  論文  参考訳（メタデータ） (2022-06-15T03:30:38Z)
• Polyak-Ruppert Averaged Q-Leaning is Statistically Efficient [90.14768299744792]
  我々はPolyak-Ruppert 平均 Q-leaning (平均 Q-leaning) を用いた同期 Q-learning を$gamma$-discounted MDP で検討した。 繰り返し平均$barboldsymbolQ_T$に対して正規性を確立する。 要するに、我々の理論分析は、Q-Leaningの平均は統計的に効率的であることを示している。
  論文  参考訳（メタデータ） (2021-12-29T14:47:56Z)
• Random quantum circuits transform local noise into global white noise [118.18170052022323]
  低忠実度状態におけるノイズランダム量子回路の測定結果の分布について検討する。 十分に弱くユニタリな局所雑音に対して、一般的なノイズ回路インスタンスの出力分布$p_textnoisy$間の相関(線形クロスエントロピーベンチマークで測定)は指数関数的に減少する。 ノイズが不整合であれば、出力分布は、正確に同じ速度で均一分布の$p_textunif$に近づく。
  論文  参考訳（メタデータ） (2021-11-29T19:26:28Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。