論文の概要: Affine Geometry of Gaussian ReLU Networks via Conditional Kac-Rice Formulas

• arxiv url: http://arxiv.org/abs/2609.32695v1
• Date: Sat, 26 Sep 2026 14:58:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 21:12:09.179187
• Title: Affine Geometry of Gaussian ReLU Networks via Conditional Kac-Rice Formulas
• Title（参考訳）: 条件付きKac-Rice式によるガウスReLUネットワークのアフィン幾何
• Abstract要約: 本研究では,有限ReLUネットワークのアフィン幾何がランダムに生成され,教師あり学習によって再構成されるかを検討する。 1次元の入力では、前層の条件付けにより、ランダムな有限分割のセル上の各事前アクティベーションガウスとアフィンが生成される。 一定の深さと比例的に増加する幅に対して、結果として生じるスイッチ強度は明確な決定論的極限に収束する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how the affine geometry of finite ReLU networks is created at random initialization and reorganized by supervised training. We call a sign-changing zero of a hidden preactivation an activation switch and a point where the scalar network output is nondifferentiable a scalar kink. For one-dimensional input, conditioning on the preceding layers makes each preactivation Gaussian and affine on the cells of a random finite partition. This yields an exact finite-width conditional Kac-Rice formula for the expected number of activation switches along an input interval. For fixed depth and proportionally growing widths, the resulting switch intensities converge to explicit deterministic limits. A visibility estimate shows that the expected number of switches that do not produce scalar kinks is negligible, yielding an explicit leading formula for the expected number of scalar kinks and hence affine regions. In higher input dimensions d >= 2, the analogous conditional surface formula yields the leading expected (d-1)-dimensional Hausdorff measure of the scalar kink set. On the Breast Cancer Wisconsin data, the initialization formula accurately predicts switch counts along held-out segments. After training, switch counts decrease along within-class segments and increase along between-class segments. Thus, training redistributes rather than merely contracts affine complexity.
• Abstract（参考訳）: 有限ReLUネットワークのアフィン幾何がランダム初期化時に生成され、教師付きトレーニングによって再構成されるかを検討する。 我々は、隠れたプリアクティベーションの符号変化ゼロをアクティベーションスイッチと呼び、スカラーネットワークの出力がスカラー・シンクと区別できないポイントと呼ぶ。 1次元の入力では、前層の条件付けにより、ランダムな有限分割のセル上の各事前アクティベーションガウスとアフィンが生成される。 これにより、入力間隔に沿って期待されるアクティベーションスイッチ数に対して、正確な有限幅条件付きKac-Rice式が得られる。 一定の深さと比例的に増加する幅に対して、結果として生じるスイッチ強度は明確な決定論的極限に収束する。 可視性推定では、スカラーキンクを発生しないスイッチの期待数は無視可能であることが示され、スカラーキンクの期待数とアフィン領域の明確な先頭式が得られる。 高い入力次元 d >= 2 において、類似条件曲面公式はスカラー・シンク集合の先進(d-1)次元ハウスドルフ測度を生成する。 乳がんウィスコンシンのデータでは、初期化公式は保持されたセグメントに沿ってスイッチ数を正確に予測する。 トレーニング後、スイッチ数はクラス内のセグメントに沿って減少し、クラス間のセグメントに沿って増加する。 したがって、トレーニングは単にアフィン複雑性を契約するのではなく、再配布する。

関連論文リスト

• Branch Geometry and Finite-Radius Sensitivity of Hard-ReLU Training [2.969260589680338]
  外部学習アルゴリズムは無限小感性を用いて訓練パラメータの有限変化を提案する。 ハードルールトレーニングでは、有限プログラムの微分とそのフロー極限の微分は、選択された半径での応答をそれ自体で指定しない。 我々は、半径がGDステップのイベントラウンドに比例し、先行順に生存する相互作用機構を特徴付ける。
  論文  参考訳（メタデータ） (2026-08-31T15:26:59Z)
• Discretization and Statistical Consistency of Functional Flow Matching [0.0]
  有限ランク再構成の強い一貫した列に対して、有限条件速度目標の強い$L2$収束を証明した。 学習フローに対して、集団重ね合わせ経路に直接結合すると、終端ワッサーシュタイン境界が得られる。
  論文  参考訳（メタデータ） (2026-08-05T07:05:47Z)
• Quotient Dynamics, Effective Curvature, and Implicit Bias in Positive Quadratic Networks [0.0]
  正の二次ネットワークは、低ランク表現 f_U(x)=xtop UUtop x を持ち、UinmathbbRdtimes r は右乗法までしか特定できない。 この商構造は, トレーニング力学, 曲率, 回復, バイアスをいかに支配するかを考察する。
  論文  参考訳（メタデータ） (2026-07-28T12:04:46Z)
• Optimal Non-Asymptotic Edgeworth Expansions for Multivariate Neural Network Outputs [0.0]
  有限個の入力で評価されたニューラルネットワークの偏差を近似した。 応用として、前者がエッジワース展開に置き換えられたときのベイズ後部分布の誤差を定量化する。
  論文  参考訳（メタデータ） (2026-05-22T12:45:17Z)
• Neural Networks as Local-to-Global Computations [0.0]
  エッジ上の制約マップとして各計算ステップを符号化することにより,任意のReLUニューラルネットワークからシーフを構築する。 フォワードパスとは異なり、熱方程式は層間で情報を双方向に伝播し、両方の方向に制約を課すピン付きニューロンを可能にする。 我々は, この枠組みを小さな合成問題に対して実験的に検証し, 収束定理を検証し, せん断に基づくトレーニングがまだ勾配降下と競合していないものの, 理論によって予測される定量的なスケーリング法則に従うことを示した。
  論文  参考訳（メタデータ） (2026-03-16T05:23:31Z)
• Refined Risk Bounds for Unbounded Losses via Transductive Priors [67.12679195076387]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• Can Transformers Do Enumerative Geometry? [44.99833362998488]
  計算列挙幾何に対する Transformer ベースのアプローチを提案する。 私たちは、10-45$から1045$までの値の交叉数を計算します。 ネットワークは、純粋にデータ駆動方式で、ヴィラソロ制約を暗黙的にモデル化していることを示す。
  論文  参考訳（メタデータ） (2024-08-27T09:44:01Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Alleviate Exposure Bias in Sequence Prediction \\ with Recurrent Neural Networks [47.52214243454995]
  繰り返しニューラルネットワーク(RNN)を訓練する一般的な戦略は、各ステップで入力として地上の真実を取ることです。 本稿では,RNNの長期的依存関係をよりよく把握するための,完全微分可能なトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-22T06:15:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。