論文の概要: Deep ReLU Networks Have Surprisingly Simple Polytopes
- arxiv url: http://arxiv.org/abs/2305.09145v1
- Date: Tue, 16 May 2023 03:51:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-17 16:23:40.577544
- Title: Deep ReLU Networks Have Surprisingly Simple Polytopes
- Title(参考訳): 深部ReLUネットワークは驚くほどシンプルなポリトープ
- Authors: Feng-Lei Fan, Wei Huang, Xiangru Zhong, Lecheng Ruan, Tieyong Zeng,
Huan Xiong, Fei Wang
- Abstract要約: ReLUネットワークはポリトープ上の一括線形関数である。
ポリトープの形状は,ポリトープを三角測量して得られる簡易度数を用いて検討した。
ポリトープの形状を特徴づけることによって、単純化の数は他の問題へのレバレッジとなる。
- 参考スコア(独自算出の注目度): 22.969361799006734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A ReLU network is a piecewise linear function over polytopes. Figuring out
the properties of such polytopes is of fundamental importance for the research
and development of neural networks. So far, either theoretical or empirical
studies on polytopes only stay at the level of counting their number, which is
far from a complete characterization of polytopes. To upgrade the
characterization to a new level, here we propose to study the shapes of
polytopes via the number of simplices obtained by triangulating the polytope.
Then, by computing and analyzing the histogram of simplices across polytopes,
we find that a ReLU network has relatively simple polytopes under both
initialization and gradient descent, although these polytopes theoretically can
be rather diverse and complicated. This finding can be appreciated as a novel
implicit bias. Next, we use nontrivial combinatorial derivation to
theoretically explain why adding depth does not create a more complicated
polytope by bounding the average number of faces of polytopes with a function
of the dimensionality. Our results concretely reveal what kind of simple
functions a network learns and its space partition property. Also, by
characterizing the shape of polytopes, the number of simplices be a leverage
for other problems, \textit{e.g.}, serving as a generic functional complexity
measure to explain the power of popular shortcut networks such as ResNet and
analyzing the impact of different regularization strategies on a network's
space partition.
- Abstract(参考訳): ReLUネットワークはポリトープ上の一括線形関数である。
このようなポリトープの性質を解明することは、ニューラルネットワークの研究と開発に不可欠である。
今のところ、ポリトープに関する理論的または実証的な研究は、その数を数える程度にとどまっており、ポリトープの完全な特徴付けとは程遠い。
そこで本研究では, ポリトープの三角測量により得られた簡易化の回数から, ポリトープの形状について検討する。
そして,ポリトープ全体の単純さのヒストグラムを計算し解析することにより,ReLUネットワークは初期化と勾配降下の両方の下で比較的単純なポリトープを持つことがわかった。
この発見は、新しい暗黙の偏見として評価できる。
次に、非自明な組合せの導出を用いて、なぜ深さを加えることが、次元の関数でポリトープの面の平均数を束ねることで、より複雑なポリトープを生成しないのかを理論的に説明する。
その結果,ネットワークが学習する単純な関数とその空間分割特性を明らかにした。
また、ポリトープの形状を特徴付けることで、単純化の数は他の問題へのレバレッジとなり、ResNetのような一般的なショートカットネットワークのパワーを説明し、ネットワークの空間分割に対する様々な正規化戦略の影響を分析するための一般的な機能的複雑性尺度として機能する。
関連論文リスト
- Defining Neural Network Architecture through Polytope Structures of
Dataset [60.142611380235856]
本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。
本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。
MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
論文 参考訳(メタデータ) (2024-02-04T08:57:42Z) - Neural Polytopes [0.0]
ReLUを活性化した単純なニューラルネットワークは、様々な次元の単位球の近似としてポリトープを生成する。
様々な活性化関数に対して、ニューラルポリトープと呼ばれるポリトープの一般化が得られる。
論文 参考訳(メタデータ) (2023-07-03T03:00:22Z) - Polyhedral Complex Extraction from ReLU Networks using Edge Subdivision [0.0]
ニューラルネットワークは、完全接続層やReLUアクティベーションなど、断片的にアフィン構造ブロックで構成されている。
この複合体は、ニューラルネットワークの理論的性質を特徴づけるために以前に研究されてきた。
本稿では,各ニューロンによって誘導される超平面との交点を介して領域を分割することを提案する。
論文 参考訳(メタデータ) (2023-06-12T16:17:04Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳(メタデータ) (2023-05-25T14:17:15Z) - Lower Bounds on the Depth of Integral ReLU Neural Networks via Lattice
Polytopes [3.0079490585515343]
我々は、$lceillog_(n)rceil$ hidden layerが$n$の最大値を計算するために本当に必要であることを示す。
この結果は、ニューラルネットワークと熱帯の幾何学によるニュートンポリトープの双対性に基づいている。
論文 参考訳(メタデータ) (2023-02-24T10:14:53Z) - Interpreting Neural Networks through the Polytope Lens [0.2359380460160535]
機械的解釈可能性(Mechanistic Interpretability)は、ニューラルネットワークがナッツ・アンド・ボルトレベルで学んだことを説明することを目的としている。
我々は、活性化空間を多くの離散ポリトープに分割する方法について検討する。
ポリトープレンズはニューラルネットワークの挙動を具体的に予測する。
論文 参考訳(メタデータ) (2022-11-22T15:03:48Z) - Towards General-Purpose Representation Learning of Polygonal Geometries [62.34832826705641]
我々は,多角形形状を埋め込み空間に符号化できる汎用多角形符号化モデルを開発した。
1)MNISTに基づく形状分類,2)DBSR-46KとDBSR-cplx46Kという2つの新しいデータセットに基づく空間関係予測を行う。
以上の結果から,NUFTspec と ResNet1D は,既存のベースラインよりも有意なマージンで優れていた。
論文 参考訳(メタデータ) (2022-09-29T15:59:23Z) - Algorithmic Determination of the Combinatorial Structure of the Linear
Regions of ReLU Neural Networks [0.0]
正準多面体のすべての次元の領域と面を決定する。
この全標準構造を計算するアルゴリズムを提案する。
得られたアルゴリズムは、中間ニューロンの数に時間とともに数値的に安定し、すべての次元にわたって正確な情報を得る。
論文 参考訳(メタデータ) (2022-07-15T18:36:12Z) - PolyNet: Polynomial Neural Network for 3D Shape Recognition with
PolyShape Representation [51.147664305955495]
3次元形状表現とその処理は3次元形状認識に大きな影響を及ぼす。
我々は、ディープニューラルネットワークに基づく手法(PolyNet)と特定のポリゴン表現(PolyShape)を提案する。
本研究では,3次元形状分類と検索作業におけるPolyNetの長所と長所を実証した。
論文 参考訳(メタデータ) (2021-10-15T06:45:59Z) - Automatic Polyp Segmentation via Multi-scale Subtraction Network [100.94922587360871]
臨床的には、正確なポリープセグメンテーションは大腸癌の早期発見に重要な情報を提供する。
既存のほとんどの手法はU字型構造に基づいており、デコーダで段階的に異なるレベルの特徴を融合させるために要素ワイド付加または結合を用いる。
大腸内視鏡画像からポリプを抽出するマルチスケールサブトラクションネットワーク(MSNet)を提案する。
論文 参考訳(メタデータ) (2021-08-11T07:54:07Z) - A simple geometric proof for the benefit of depth in ReLU networks [57.815699322370826]
本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。
我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
論文 参考訳(メタデータ) (2021-01-18T15:40:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。