論文の概要: Topological Signatures of ReLU Neural Network Activation Patterns

• arxiv url: http://arxiv.org/abs/2510.12700v1
• Date: Tue, 14 Oct 2025 16:36:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.396352
• Title: Topological Signatures of ReLU Neural Network Activation Patterns
• Title（参考訳）: ReLUニューラルネット活性化パターンのトポロジカルシグナチャ
• Authors: Vicente Bosca, Tatum Rask, Sunia Tanweer, Andrew R. Tawfeek, Branden Stone,
• Abstract要約: 本稿では、ReLU活性化機能を備えたフィードフォワードニューラルネットワークについて検討し、ネットワークによって誘導される特徴空間のポリトープ分解を解析する。 双対グラフのファイドラー分割は、二項分類の場合、決定境界と相関していることを示す。
• 参考スコア（独自算出の注目度）: 0.009825610883836785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explores the topological signatures of ReLU neural network activation patterns. We consider feedforward neural networks with ReLU activation functions and analyze the polytope decomposition of the feature space induced by the network. Mainly, we investigate how the Fiedler partition of the dual graph and show that it appears to correlate with the decision boundary -- in the case of binary classification. Additionally, we compute the homology of the cellular decomposition -- in a regression task -- to draw similar patterns in behavior between the training loss and polyhedral cell-count, as the model is trained.
• Abstract（参考訳）: 本稿では,ReLUニューラルネットワーク活性化パターンのトポロジ的特徴について考察する。 本稿では、ReLU活性化機能を備えたフィードフォワードニューラルネットワークについて検討し、ネットワークによって誘導される特徴空間のポリトープ分解を解析する。 主に、二重グラフのFiedler分割が、二項分類の場合、決定境界と相関していることを示す。さらに、回帰タスクにおいて、細胞分解のホモロジーを計算し、モデルが訓練されるときに、トレーニング損失とポリヘドラル細胞数の間の同様の挙動のパターンを描画する。

関連論文リスト

• Topological obstruction to the training of shallow ReLU neural networks [0.0]
  損失ランドスケープの幾何学と単純なニューラルネットワークの最適化軌跡との相互作用について検討する。 本稿では,勾配流を用いた浅部ReLUニューラルネットワークの損失景観におけるトポロジカル障害物の存在を明らかにする。
  論文  参考訳（メタデータ） (2024-10-18T19:17:48Z)
• A topological description of loss surfaces based on Betti Numbers [8.539445673580252]
  多層ニューラルネットワークの場合の損失複雑性を評価するためのトポロジカル尺度を提供する。 損失関数やモデルアーキテクチャの特定のバリエーション、例えば$ell$正規化項の追加やフィードフォワードネットワークでの接続のスキップは、特定のケースにおける損失には影響しない。
  論文  参考訳（メタデータ） (2024-01-08T11:20:04Z)
• Topological Data Analysis of Neural Network Layer Representations [0.0]
  単純なフィードフォワードニューラルネットワークの、クラインボトルのようなねじれのある修正トーラスの層表現の位相的特徴を計算した。 結果として生じるノイズは、これらの特徴を計算するための永続的ホモロジーの能力を妨げた。
  論文  参考訳（メタデータ） (2022-07-01T00:51:19Z)
• Brain Cortical Functional Gradients Predict Cortical Folding Patterns via Attention Mesh Convolution [51.333918985340425]
  我々は,脳の皮質ジャイロ-サルカル分割図を予測するための新しいアテンションメッシュ畳み込みモデルを開発した。 実験の結果,我々のモデルによる予測性能は,他の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-05-21T14:08:53Z)
• Phenomenology of Double Descent in Finite-Width Neural Networks [29.119232922018732]
  二重降下(double descend)は、モデルが属する体制に依存して行動を記述する。 我々は影響関数を用いて、人口減少とその下限の適切な表現を導出する。 本分析に基づき,損失関数が二重降下に与える影響について検討した。
  論文  参考訳（メタデータ） (2022-03-14T17:39:49Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Going beyond p-convolutions to learn grayscale morphological operators [64.38361575778237]
  p-畳み込み層と同じ原理に基づく2つの新しい形態層を提示する。 本研究では, p-畳み込み層と同じ原理に基づく2つの新しい形態層を示す。
  論文  参考訳（メタデータ） (2021-02-19T17:22:16Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。