論文の概要: On Space Folds of ReLU Neural Networks

• arxiv url: http://arxiv.org/abs/2502.09954v1
• Date: Fri, 14 Feb 2025 07:22:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:48:06.604668
• Title: On Space Folds of ReLU Neural Networks
• Title（参考訳）: ReLUニューラルネットワークの空間フォールドについて
• Authors: Michal Lewandowski, Hamid Eghbalzadeh, Bernhard Heinzl, Raphael Pisoni, Bernhard A. Moser,
• Abstract要約: 近年の研究では、ReLUニューラルネットワークは入力空間の空間折り畳みとして幾何学的に理解できることが示唆されている。 本稿では、この空間現象をReLUモデルで初めて定量的に解析する。
• 参考スコア（独自算出の注目度）: 6.019268056469171
• License:
• Abstract: Recent findings suggest that the consecutive layers of ReLU neural networks can be understood geometrically as space folding transformations of the input space, revealing patterns of self-similarity. In this paper, we present the first quantitative analysis of this space folding phenomenon in ReLU neural networks. Our approach focuses on examining how straight paths in the Euclidean input space are mapped to their counterparts in the Hamming activation space. In this process, the convexity of straight lines is generally lost, giving rise to non-convex folding behavior. To quantify this effect, we introduce a novel measure based on range metrics, similar to those used in the study of random walks, and provide the proof for the equivalence of convexity notions between the input and activation spaces. Furthermore, we provide empirical analysis on a geometrical analysis benchmark (CantorNet) as well as an image classification benchmark (MNIST). Our work advances the understanding of the activation space in ReLU neural networks by leveraging the phenomena of geometric folding, providing valuable insights on how these models process input information.
• Abstract（参考訳）: 最近の知見は、ReLUニューラルネットワークの連続層は、入力空間の空間折り畳み変換として幾何学的に理解でき、自己相似性のパターンを明らかにすることを示唆している。 本稿では、ReLUニューラルネットワークにおいて、この空間の折り畳み現象を初めて定量的に解析する。 提案手法は, ユークリッド入力空間内の直線経路がハミング活性化空間内のそれらの経路にどのようにマッピングされるかを検討することに焦点を当てる。 この過程において、直線の凸性は一般に失われ、非凸な折りたたみ挙動を引き起こす。 この効果を定量化するために、ランダムウォーク研究で用いられるようなレンジ測度に基づく新しい測度を導入し、入力空間とアクティベーション空間の間の凸の概念の等価性を示す。 さらに,幾何解析ベンチマーク (CantorNet) と画像分類ベンチマーク (MNIST) について実証分析を行った。 我々の研究は、幾何学的折り畳み現象を利用して、ReLUニューラルネットワークにおける活性化空間の理解を進め、これらのモデルが入力情報をどのように処理するかについての貴重な洞察を提供する。

関連論文リスト

• Emergence of Globally Attracting Fixed Points in Deep Neural Networks With Nonlinear Activations [24.052411316664017]
  本稿では、2つの異なる入力に対して隠された表現の類似性を計測するカーネルシーケンスの進化に関する理論的枠組みを提案する。 非線形アクティベーションに対しては、カーネルシーケンスは、アクティベーションとネットワークアーキテクチャに依存する同様の表現に対応可能な、一意の固定点にグローバルに収束する。 この研究は、ディープニューラルネットワークの暗黙のバイアスと、アーキテクチャ上の選択が層間の表現の進化にどのように影響するかについて、新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-26T07:10:47Z)
• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
  本稿ではReLUのような非微分可能活性化関数の事例について検討する。 最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。 本稿では,画像の分類と熱力学問題に関する数値実験を行った。
  論文  参考訳（メタデータ） (2024-04-09T08:11:46Z)
• Early Directional Convergence in Deep Homogeneous Neural Networks for Small Initializations [1.9556053645976448]
  本稿では,局所的なリプシッツ均質性と2つ以上の厳密な順序を有すると仮定された深部均一性ニューラルネットワークのトレーニング時に生じる勾配流のダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2024-03-12T23:17:32Z)
• On the Computational Entanglement of Distant Features in Adversarial Machine Learning [8.87656044562629]
  計算的絡み合い」の概念を導入する 計算的絡み合いにより、未確認のテストサンプルであっても、ランダムノイズを適合させることで、ネットワークはゼロ損失を達成することができる。 本稿では, 計算エンタングルメントの新たな応用法として, 計算エンタングルメントを, 非ローバストな最悪ケースのサンプル・インプットの変換に適用する。
  論文  参考訳（メタデータ） (2023-09-27T14:09:15Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Quiver neural networks [5.076419064097734]
  ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。 数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
  論文  参考訳（メタデータ） (2022-07-26T09:42:45Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Implicit Geometric Regularization for Learning Shapes [34.052738965233445]
  生データから直接高忠実度暗黙的ニューラル表現を計算するための新しいパラダイムを提供する。 提案手法は,従来の手法と比較して,高い精度と忠実度を有する暗黙的ニューラル表現の状態を導出することを示す。
  論文  参考訳（メタデータ） (2020-02-24T07:36:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。