論文の概要: Combinatorial Regularity for Relatively Perfect Discrete Morse Gradient Vector Fields of ReLU Neural Networks

• arxiv url: http://arxiv.org/abs/2412.18005v2
• Date: Wed, 22 Jan 2025 23:27:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:55:06.975355
• Title: Combinatorial Regularity for Relatively Perfect Discrete Morse Gradient Vector Fields of ReLU Neural Networks
• Title（参考訳）: ReLUニューラルネットワークの相対完全離散モード勾配ベクトル場に対する組合せ規則性
• Authors: Robyn Brooks, Marissa Masden,
• Abstract要約: ReLUニューラルネットワークは、正準多面体複体(canonical polyhedral complex)と呼ばれる入力空間を断片的に線形に分解する。 以前、ReLUニューラルネットワークが断片的に線形なモースであるかどうかが決定可能であることが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: One common function class in machine learning is the class of ReLU neural networks. ReLU neural networks induce a piecewise linear decomposition of their input space called the canonical polyhedral complex. It has previously been established that it is decidable whether a ReLU neural network is piecewise linear Morse. In order to expand computational tools for analyzing the topological properties of ReLU neural networks, and to harness the strengths of discrete Morse theory, we introduce a schematic for translating between a given piecewise linear Morse function (e.g. parameters of a ReLU neural network) on a canonical polyhedral complex and a compatible (``relatively perfect") discrete Morse function on the same complex. Our approach is constructive, producing an algorithm that can be used to determine if a given vertex in a canonical polyhedral complex corresponds to a piecewise linear Morse critical point. Furthermore we provide an algorithm for constructing a consistent discrete Morse pairing on cells in the canonical polyhedral complex which contain this vertex. We additionally provide some new realizability results with respect to sublevel set topology in the case of shallow ReLU neural networks.
• Abstract（参考訳）: 機械学習における一般的な関数クラスは、ReLUニューラルネットワークのクラスである。 ReLUニューラルネットワークは、正準多面体複体(canonical polyhedral complex)と呼ばれる入力空間を断片的に線形に分解する。 以前、ReLUニューラルネットワークが断片的に線形なモースであるかどうかが決定可能であることが判明した。 離散モース理論の強みを生かし、ReLUニューラルネットワークのトポロジカルな性質を解析するための計算ツールを拡張し、離散モース理論の強みを活用するために、正準多面体上の与えられた片方向線型モース関数(例えばReLUニューラルネットワークのパラメータ)と、同じ複素体上の互換な離散モース関数(「相対的に完全」)との対応関係を変換するスキーマを導入する。 我々のアプローチは構成的であり、正準多面体における与えられた頂点が片方向線型モース臨界点に対応するかどうかを決定するのに使用できるアルゴリズムを作成する。 さらに、この頂点を含む正準多面体複合体の細胞に一貫した離散的なモース対を構築するアルゴリズムを提案する。 また、浅いReLUニューラルネットワークの場合、サブレベルセットトポロジーに関して、いくつかの新しい実現可能性結果を提供する。

関連論文リスト

• Polyhedral Complex Extraction from ReLU Networks using Edge Subdivision [0.0]
  ニューラルネットワークは、完全接続層やReLUアクティベーションなど、断片的にアフィン構造ブロックで構成されている。 この複合体は、ニューラルネットワークの理論的性質を特徴づけるために以前に研究されてきた。 本稿では,各ニューロンによって誘導される超平面との交点を介して領域を分割することを提案する。
  論文  参考訳（メタデータ） (2023-06-12T16:17:04Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• On Rademacher Complexity-based Generalization Bounds for Deep Learning [18.601449856300984]
  Rademacherの複雑性に基づくアプローチは、畳み込みニューラルネットワーク(CNN)上の非空の一般化バウンダリを生成することができることを示す。 以上の結果から,ReLU,Leaky ReLU,Parametric Rectifier Linear Unit,Sigmoid,Tanhなどの特別なアクティベーション機能を持つCNNのネットワーク長に依存しないことがわかった。
  論文  参考訳（メタデータ） (2022-08-08T17:24:04Z)
• A Sparse Coding Interpretation of Neural Networks and Theoretical Implications [0.0]
  深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。 本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。 正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
  論文  参考訳（メタデータ） (2021-08-14T21:54:47Z)
• Optimal Approximation with Sparse Neural Networks and Applications [0.0]
  深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。 また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。 次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
  論文  参考訳（メタデータ） (2021-08-14T05:14:13Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。