論文の概要: Wide Neural Networks as a Baseline for the Computational No-Coincidence Conjecture

• arxiv url: http://arxiv.org/abs/2510.06527v1
• Date: Wed, 08 Oct 2025 00:02:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.231616
• Title: Wide Neural Networks as a Baseline for the Computational No-Coincidence Conjecture
• Title（参考訳）: 計算的不一致導出のためのベースラインとしてのワイドニューラルネットワーク
• Authors: John Dunbar, Scott Aaronson,
• Abstract要約: ランダムニューラルネットワークは、ガウス測度において、その活性化関数がゼロ平均で非線形であるときに、ほぼ独立な出力を持つことを示す: $mathbbE_z sim MathcalN(0,1)[sigma(z)]=0$。 ほぼ独立したアウトプットのため、アライメント研究センターの計算的非衝突予測の候補として、ゼロ平均アクティベーション関数を持つニューラルネットワークを提案する。
• 参考スコア（独自算出の注目度）: 2.2201528765499416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We establish that randomly initialized neural networks, with large width and a natural choice of hyperparameters, have nearly independent outputs exactly when their activation function is nonlinear with zero mean under the Gaussian measure: $\mathbb{E}_{z \sim \mathcal{N}(0,1)}[\sigma(z)]=0$. For example, this includes ReLU and GeLU with an additive shift, as well as tanh, but not ReLU or GeLU by themselves. Because of their nearly independent outputs, we propose neural networks with zero-mean activation functions as a promising candidate for the Alignment Research Center's computational no-coincidence conjecture -- a conjecture that aims to measure the limits of AI interpretability.
• Abstract（参考訳）: ランダムに初期化されたニューラルネットワークは、大きな幅とハイパーパラメータの自然な選択を持ち、その活性化関数がガウス測度の下でゼロ平均で非線形であるとき、ほぼ独立な出力を持つ。 例えば、ReLU や GeLU は加法シフトを伴うが、ReLU や GeLU はそれ自身ではない。 ほぼ独立したアウトプットのため、アライメント研究センターの計算的非衝突予測の候補として、ゼロ平均アクティベーション関数を持つニューラルネットワークを提案する。

関連論文リスト

• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Points of non-linearity of functions generated by random neural networks [0.0]
  1つの隠れ活性化層、任意の幅、ReLU活性化関数を持つニューラルネットワークによって出力される実数から実数への関数を考える。 非線型性の点の期待分布を計算する。
  論文  参考訳（メタデータ） (2023-04-19T17:40:19Z)
• Spectral Bias Outside the Training Set for Deep Networks in the Kernel Regime [0.0]
  ネットワークは、トレーニングセットだけでなく、入力空間全体にわたって、ニューラルネットワークの上位固有関数を学習するために偏りがあることが示される。 このバイアスはモデルアーキテクチャと入力分布のみに依存する。 我々は,漁業情報マトリックスの低効率な位置からの局所的な容量制御は理論的には未熟である,と結論づける。
  論文  参考訳（メタデータ） (2022-06-06T22:09:15Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• A global convergence theory for deep ReLU implicit networks via over-parameterization [26.19122384935622]
  暗黙の深層学習は近年注目を集めている。 本稿では,Rectified Linear Unit (ReLU) 活性化暗黙的ニューラルネットワークの勾配流れを解析する。
  論文  参考訳（メタデータ） (2021-10-11T23:22:50Z)
• Deformed semicircle law and concentration of nonlinear random matrices for ultra-wide neural networks [29.03095282348978]
  本稿では、$f(X)$に付随する2つの経験的カーネル行列のスペクトル分布の制限について検討する。 経験的カーネルによって誘導されるランダムな特徴回帰は、超広範体制下でのカーネル回帰の制限と同じ性能を達成することを示す。
  論文  参考訳（メタデータ） (2021-09-20T05:25:52Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
  重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。 この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
  論文  参考訳（メタデータ） (2021-02-20T10:14:37Z)
• Gaussian Error Linear Units (GELUs) [58.195342948092964]
  本稿では,入力の重み付けを行うニューラルネットワークアクティベーション関数を提案する。 コンピュータビジョン、自然言語処理、音声タスクのすべてにおいて、パフォーマンスが改善されている。
  論文  参考訳（メタデータ） (2016-06-27T19:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。