Fugu-MT 論文翻訳(概要): ReLU Neural Networks, Polyhedral Decompositions, and Persistent Homolog

論文の概要: ReLU Neural Networks, Polyhedral Decompositions, and Persistent Homolog

arxiv url: http://arxiv.org/abs/2306.17418v1
Date: Fri, 30 Jun 2023 06:20:21 GMT
ステータス: 処理完了
システム内更新日: 2023-07-03 13:33:43.805295
Title: ReLU Neural Networks, Polyhedral Decompositions, and Persistent Homolog
Title（参考訳）: reluニューラルネットワーク、多面体分解、永続ホモログ
Authors: Yajing Liu, Christina M Cole, Chris Peterson, Michael Kirby
Abstract要約: ReLUニューラルネットワークは入力空間と対応する有限双対グラフの有限多面分解をもたらす。この性質は、このトポロジ的応用とは無関係に、幅広い目的のために訓練された様々なネットワークに当てはまる。
参考スコア（独自算出の注目度）: 3.757267519564962
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A ReLU neural network leads to a finite polyhedral decomposition of input space and a corresponding finite dual graph. We show that while this dual graph is a coarse quantization of input space, it is sufficiently robust that it can be combined with persistent homology to detect homological signals of manifolds in the input space from samples. This property holds for a variety of networks trained for a wide range of purposes that have nothing to do with this topological application. We found this feature to be surprising and interesting; we hope it will also be useful.
Abstract（参考訳）: reluニューラルネットワークは、入力空間の有限多面体分解と対応する有限双対グラフをもたらす。この双対グラフは入力空間の粗量子化であるが、持続ホモロジーと組み合わせて、サンプルから入力空間内の多様体のホモロジー信号を検出することは十分に堅牢であることを示す。この性質は、このトポロジ的応用とは無関係に、幅広い目的のために訓練された様々なネットワークに当てはまる。この機能には驚きと興味があり、役に立つことを願っています。

関連論文リスト

A rank decomposition for the topological classification of neural representations [0.0]
この研究では、ニューラルネットワークが連続的なピースワイズアフィンマップと等価であるという事実を活用している。多様体 $mathcalM$ と部分集合 $A$ の商のホモロジー群を研究し、これらの空間上のいくつかの極小性質を仮定する。ランダムに狭いネットワークでは、データ多様体の(コ)ホモロジー群が変化する領域が存在することを示す。
論文参考訳（メタデータ） (2024-04-30T17:01:20Z)
Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
論文参考訳（メタデータ） (2024-02-21T18:35:27Z)
Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文参考訳（メタデータ） (2023-06-24T10:21:11Z)
Geometric Graph Filters and Neural Networks: Limit Properties and Discriminability Trade-offs [122.06927400759021]
本稿では,グラフニューラルネットワーク (GNN) と多様体ニューラルネットワーク (MNN) の関係について検討する。これらのグラフ上の畳み込みフィルタとニューラルネットワークが連続多様体上の畳み込みフィルタとニューラルネットワークに収束することを示す。
論文参考訳（メタデータ） (2023-05-29T08:27:17Z)
Gradient-based Wang-Landau Algorithm: A Novel Sampler for Output Distribution of Neural Networks over the Input Space [20.60516313062773]
本稿では,グラディエントをベースとした新しい Wang-Landau (GWL) サンプリング手法を提案する。まず、NNの出力分布と物理系の状態密度(DOS)との接続を描画する。そこで我々は,そのランダムな提案を勾配に基づくモンテカルロ提案に置き換えることにより,DOS問題の古典的なサンプリングアルゴリズムであるワン・ランダウアルゴリズムを再構築する。
論文参考訳（メタデータ） (2023-02-19T05:42:30Z)
Convolutional Neural Networks on Manifolds: From Graphs and Back [122.06927400759021]
本稿では,多様体畳み込みフィルタと点次非線形性からなる多様体ニューラルネットワーク(MNN)を提案する。要約すると、我々は大きなグラフの極限として多様体モデルに焦点を合わせ、MNNを構築するが、それでもMNNの離散化によってグラフニューラルネットワークを復活させることができる。
論文参考訳（メタデータ） (2022-10-01T21:17:39Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)
A function space analysis of finite neural networks with insights from sampling theory [41.07083436560303]
非拡張活性化関数を持つ多層ネットワークが生成する関数空間は滑らかであることを示す。入力が帯域制限の仮定の下では、新しいエラー境界を提供する。前者の利点を示す決定論的一様とランダムサンプリングの両方を解析した。
論文参考訳（メタデータ） (2020-04-15T10:25:18Z)
Properties of the geometry of solutions and capacity of multi-layer neural networks with Rectified Linear Units activations [2.3018169548556977]
本稿では,2層ニューラルネットワークにおける線形整流ユニットが解空間の容量および幾何学的景観に与える影響について検討する。予想外のことに、隠れた層内のニューロン数が増加するにつれて、ネットワークの容量は有限であることがわかった。おそらくもっと重要なことは、大きな偏差のアプローチによって、解空間の幾何学的景観が特異な構造を持つことを見つけることができるということである。
論文参考訳（メタデータ） (2019-07-17T15:23:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。