論文の概要: Deep ReLU Networks Have Surprisingly Simple Polytopes
- arxiv url: http://arxiv.org/abs/2305.09145v2
- Date: Fri, 22 Nov 2024 07:23:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-25 15:02:09.346387
- Title: Deep ReLU Networks Have Surprisingly Simple Polytopes
- Title（参考訳）: 深部ReLUネットワークは意外とシンプルなポリトープ
- Authors: Feng-Lei Fan, Wei Huang, Xiangru Zhong, Lecheng Ruan, Tieyong Zeng, Huan Xiong, Fei Wang,
- Abstract要約: ReLUネットワークはポリトープ上の一括線形関数である。
ポリトープの形状をポリトープの顔数を用いて検討する。
ポリトープの形状を特徴付けることで、他の問題に対する新たなレバレッジとなり得る。
- 参考スコア（独自算出の注目度）: 30.417072051872726
- License:
- Abstract: A ReLU network is a piecewise linear function over polytopes. Figuring out the properties of such polytopes is of fundamental importance for the research and development of neural networks. So far, either theoretical or empirical studies on polytopes only stay at the level of counting their number, which is far from a complete characterization. Here, we propose to study the shapes of polytopes via the number of faces of the polytope. Then, by computing and analyzing the histogram of faces across polytopes, we find that a ReLU network has relatively simple polytopes under both initialization and gradient descent, although these polytopes can be rather diverse and complicated by a specific design. This finding can be appreciated as a kind of generalized implicit bias, subjected to the intrinsic geometric constraint in space partition of a ReLU network. Next, we perform a combinatorial analysis to explain why adding depth does not generate a more complicated polytope by bounding the average number of faces of polytopes with the dimensionality. Our results concretely reveal what kind of simple functions a network learns and what will happen when a network goes deep. Also, by characterizing the shape of polytopes, the number of faces can be a novel leverage for other problems, \textit{e.g.}, serving as a generic tool to explain the power of popular shortcut networks such as ResNet and analyzing the impact of different regularization strategies on a network's space partition.
- Abstract（参考訳）: ReLUネットワークはポリトープ上の一括線形関数である。
このようなポリトープの性質を解明することは、ニューラルネットワークの研究と開発に不可欠である。
これまでのところ、ポリトープに関する理論的または実証的な研究は、その数を数える程度にとどまっているが、これは完全な特徴づけとは程遠い。
本稿では,ポリトープの形状について,ポリトープの顔数を用いて検討する。
そして,ポリトープにまたがる顔のヒストグラムの計算と解析により,ReLUネットワークは初期化と勾配降下の両方の下で比較的単純なポリトープを持つが,これらのポリトープは特定の設計によってかなり多様かつ複雑であることがわかった。
この発見は、ReLUネットワークの空間分割における本質的な幾何学的制約の影響を受け、一般化された暗黙バイアスの一種として評価できる。
次に,ポリトープの平均面数と次元を結合させることにより,なぜ深度を加えるとより複雑なポリトープが発生しないのかを説明するための組合せ解析を行う。
我々の結果は、ネットワークがどのような単純な機能を学び、ネットワークが深くなったときに何が起こるかを明確に示している。
また、ポリトープの形状を特徴付けることで、他の問題に対する新たなレバレッジとなる顔の数を「textit{e g }」と呼び、ResNetのような一般的なショートカットネットワークのパワーを説明し、ネットワークの空間分割に対する様々な正規化戦略の影響を分析する汎用ツールとして機能する。
関連論文リスト
- Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。
本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。
MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
論文 参考訳（メタデータ） (2024-02-04T08:57:42Z) - PolyGNN: Polyhedron-based Graph Neural Network for 3D Building Reconstruction from Point Clouds [22.18061879431175]
PolyGNNは、再構成ポイントクラウドを構築するためのグラフニューラルネットワークである。
多面体分解によって得られる原始体を組み立てることを学ぶ。
都市間および実世界の点雲上での移動可能性解析を行う。
論文 参考訳（メタデータ） (2023-07-17T16:52:25Z) - Neural Polytopes [0.0]
ReLUを活性化した単純なニューラルネットワークは、様々な次元の単位球の近似としてポリトープを生成する。
様々な活性化関数に対して、ニューラルポリトープと呼ばれるポリトープの一般化が得られる。
論文 参考訳（メタデータ） (2023-07-03T03:00:22Z) - Polyhedral Complex Extraction from ReLU Networks using Edge Subdivision [0.0]
ニューラルネットワークは、完全接続層やReLUアクティベーションなど、断片的にアフィン構造ブロックで構成されている。
この複合体は、ニューラルネットワークの理論的性質を特徴づけるために以前に研究されてきた。
本稿では,各ニューロンによって誘導される超平面との交点を介して領域を分割することを提案する。
論文 参考訳（メタデータ） (2023-06-12T16:17:04Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳（メタデータ） (2023-05-25T14:17:15Z) - Lower Bounds on the Depth of Integral ReLU Neural Networks via Lattice
Polytopes [3.0079490585515343]
我々は、$lceillog_(n)rceil$ hidden layerが$n$の最大値を計算するために本当に必要であることを示す。
この結果は、ニューラルネットワークと熱帯の幾何学によるニュートンポリトープの双対性に基づいている。
論文 参考訳（メタデータ） (2023-02-24T10:14:53Z) - Towards General-Purpose Representation Learning of Polygonal Geometries [62.34832826705641]
我々は,多角形形状を埋め込み空間に符号化できる汎用多角形符号化モデルを開発した。
1)MNISTに基づく形状分類,2)DBSR-46KとDBSR-cplx46Kという2つの新しいデータセットに基づく空間関係予測を行う。
以上の結果から,NUFTspec と ResNet1D は,既存のベースラインよりも有意なマージンで優れていた。
論文 参考訳（メタデータ） (2022-09-29T15:59:23Z) - Algorithmic Determination of the Combinatorial Structure of the Linear
Regions of ReLU Neural Networks [0.0]
正準多面体のすべての次元の領域と面を決定する。
この全標準構造を計算するアルゴリズムを提案する。
得られたアルゴリズムは、中間ニューロンの数に時間とともに数値的に安定し、すべての次元にわたって正確な情報を得る。
論文 参考訳（メタデータ） (2022-07-15T18:36:12Z) - PolyNet: Polynomial Neural Network for 3D Shape Recognition with
PolyShape Representation [51.147664305955495]
3次元形状表現とその処理は3次元形状認識に大きな影響を及ぼす。
我々は、ディープニューラルネットワークに基づく手法(PolyNet)と特定のポリゴン表現(PolyShape)を提案する。
本研究では,3次元形状分類と検索作業におけるPolyNetの長所と長所を実証した。
論文 参考訳（メタデータ） (2021-10-15T06:45:59Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - A simple geometric proof for the benefit of depth in ReLU networks [57.815699322370826]
本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。
我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
論文 参考訳（メタデータ） (2021-01-18T15:40:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。