論文の概要: Z-Plane Neural Networks: Bounded Geometric Activation Replaces ReLU and LayerNorm

• arxiv url: http://arxiv.org/abs/2606.15669v1
• Date: Sun, 14 Jun 2026 08:22:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.787494
• Title: Z-Plane Neural Networks: Bounded Geometric Activation Replaces ReLU and LayerNorm
• Title（参考訳）: Z-Plane Neural Networks: ReLUとLayerNormに代わる幾何学的活性化境界
• Abstract要約: 現代のディープニューラルネットワークは、ディープアーキテクチャの勾配不安定を防ぐためにユークリッドスカラーアクティベーション(例えばReLU)に依存している。 隠れた状態を超球面上の2次元ファサーバンドルにマッピングするZ-Plane Neural Networkを提案する。 この等方的活性化が1-Lipschitz連続性を維持し、接勾配を保存することによって勾配の消失を防ぐことを数学的に示す。
• 参考スコア（独自算出の注目度）: 3.0459410574367314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern deep neural networks rely on Euclidean scalar activations (e.g., ReLU) and global normalization techniques (e.g., LayerNorm) to prevent gradient instability in deep architectures. However, these mechanisms inherently cause dead neurons, discard critical directional information, and destroy the orthogonality of feature representations. Inspired by the frequency-modulation transmission of biological axons, we propose the Z-Plane Neural Network, which maps hidden states into 2D phasor bundles on a hypersphere. We introduce a novel geometric activation function, Radial Bounding($\mathbf{x} / \max(1, \|\mathbf{x}\|_2)$), which limits the energy magnitude while preserving the phase (direction). We demonstrate mathematically that this isotropic activation maintains 1-Lipschitz continuity and prevents gradient vanishing by preserving tangential gradients. Empirically, a 100-layer Z-Plane Multi-Layer Perceptron (MLP)-entirely devoid of ReLU and LayerNorm-successfully converges on the MNIST dataset with 98.34% accuracy and absolute numerical stability, proving that bounded geometric activation alone is sufficient for stable deep learning.
• Abstract（参考訳）: 現代のディープニューラルネットワークは、ディープアーキテクチャの勾配不安定を防ぐためにユークリッドスカラーアクティベーション(例:ReLU)とグローバル正規化技術(例:LayerNorm)に依存している。 しかし、これらのメカニズムは本質的に死んだ神経細胞を引き起こし、重要な方向情報を捨て、特徴表現の直交性を破壊する。 生体軸索の周波数変調伝達に着想を得て,隠れた状態を超球面上の2次元ファサーバンドルにマッピングするZ-Plane Neural Networkを提案する。 位相(方向)を保ちながらエネルギーの大きさを制限する新しい幾何活性化関数、Radial Bounding($\mathbf{x} / \max(1, \|\mathbf{x}\|_2)$)を導入する。 この等方的活性化が1-Lipschitz連続性を維持し、接勾配を保存することによって勾配の消失を防ぐことを数学的に示す。 実証的に、100層のZ-Plane Multi-Layer Perceptron (MLP) はReLUとLayerNormを欠いているが、98.34%の精度と絶対的な数値安定性でMNISTデータセットにうまく収束し、有界な幾何学的アクティベーションのみが安定した深層学習に十分であることを示した。

関連論文リスト

• Across the Loss Landscape with Progressive Growth [51.366966420881646]
  成長を漸進的緩和と見なして、より平坦な地域に向けての訓練戦略がいかに成長・最適化されるかを示す。 制御されたおもちゃの流域や現実的なResNet/CI-100環境でこれらの予測を実証的に検証する。 プログレッシブな部分空間成長は、より平坦な解を確実に生成するが、曲率の低減は、普遍的にテスト性能の向上に変換されず、平坦性一般化接続における微妙さを強調している。
  論文  参考訳（メタデータ） (2026-08-25T13:50:48Z)
• Sphere Retraction Normalizations [5.536157020510715]
  ハイパースフィアでは、この家族全体が単一のスカラーデザイン選択に崩壊することを示している。 この見解は、ユークリッドの残余接続とGeoNormを一つのフレームワークに配置する。
  論文  参考訳（メタデータ） (2026-08-02T13:23:49Z)
• Lie-Algebraic Subspace Quantization for Zero-Shot Quantum Learning and Barren-Plateau Mitigation [0.9392167468538464]
  ゼロショット古典量子パラメータ転送と多様体モデルマージのためのフレームワークを提案する。 我々は、幾何学的トランケーションと正確な非ユニタリ性によって再構成誤差を束縛する部分空間量子化定理を証明した。 IBM ibm_kobe の実験では、Hellinger は k-8 で0.987 であり、サブスペース勾配は 128 の物理量子ビットまで解決可能である。
  論文  参考訳（メタデータ） (2026-07-13T07:15:12Z)
• Conservation Law Breaking at the Edge of Stability: A Spectral Theory of Non-Convex Neural Network Optimization [0.0]
  非次元ネットワーク最適化において、勾配勾配勾配が確実に良い解となることを示す。 幅依存性の動的遷移によって分離された2つの規則を同定する。 全ての予測は23の実験で検証される。
  論文  参考訳（メタデータ） (2026-04-08T10:41:24Z)
• High-Fidelity Modeling of Stochastic Chemical Dynamics on Complex Manifolds: A Multi-Scale SIREN-PINN Framework for the Curvature-Perturbed Ginzburg-Landau Equation [0.0]
  この研究は、表面の不均一性と乱流化学反応器の工学的受動的制御戦略を識別するためのメッシュフリーでデータ駆動のツールを提供する、幾何学触媒設計の新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-01-13T00:52:23Z)
• Deep Delta Learning [91.75868893250662]
  本稿では,標準残差接続を一般化した新しいアーキテクチャであるDeep Delta Learning(DDL)を紹介する。 我々はこの演算子のスペクトル解析を行い、ゲート$(mathbfX)$がアイデンティティマッピング、投影、幾何反射のダイナミックな相互作用を可能にすることを示した。 この統合により、ネットワークは階層的な遷移作用素のスペクトルを明示的に制御することができ、複雑な非単調力学のモデリングを可能にする。
  論文  参考訳（メタデータ） (2026-01-01T18:11:38Z)
• Non-Singularity of the Gradient Descent map for Neural Networks with Piecewise Analytic Activations [53.348574336527854]
  重みとバイアスの空間上の関数としてのニューラルネットワークマップについて検討する。 我々は、現実的なニューラルネットワークアーキテクチャの損失ランドスケープにおける勾配降下(GD)マップの非特異性を初めて証明した。
  論文  参考訳（メタデータ） (2025-10-28T14:34:33Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
  好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。 勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
  論文  参考訳（メタデータ） (2023-10-29T08:47:48Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Continuous Generative Neural Networks: A Wavelet-Based Architecture in Function Spaces [1.7205106391379021]
  本研究では,連続的な環境下での連続生成ニューラルネットワーク(CGNN)について検討する。 このアーキテクチャはDCGANにインスパイアされ、1つの完全に接続された層、いくつかの畳み込み層、非線形活性化関数を持つ。 本稿では,畳み込みフィルタの条件と,CGNNが注入可能であることを保証する非線形性について述べる。
  論文  参考訳（メタデータ） (2022-05-29T11:06:29Z)
• A global convergence theory for deep ReLU implicit networks via over-parameterization [26.19122384935622]
  暗黙の深層学習は近年注目を集めている。 本稿では,Rectified Linear Unit (ReLU) 活性化暗黙的ニューラルネットワークの勾配流れを解析する。
  論文  参考訳（メタデータ） (2021-10-11T23:22:50Z)
• Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant [26.22495169129119]
  本稿では,深層ニューラルネットワークの活性化関数を学習するための変分フレームワークを提案する。 我々の目的は、リプシッツ定数の上界を制御しながら、ネットワークの容量を増加させることである。 提案手法を標準ReLUネットワークとその変種であるPRELUとLeakyReLUと比較する。
  論文  参考訳（メタデータ） (2020-01-17T12:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。