Fugu-MT 論文翻訳(概要): Deep ReLU Networks Have Surprisingly Simple Polytopes

論文の概要: Deep ReLU Networks Have Surprisingly Simple Polytopes

arxiv url: http://arxiv.org/abs/2305.09145v1
Date: Tue, 16 May 2023 03:51:34 GMT
ステータス: 処理完了
システム内更新日: 2023-05-17 16:23:40.577544
Title: Deep ReLU Networks Have Surprisingly Simple Polytopes
Title（参考訳）: 深部ReLUネットワークは驚くほどシンプルなポリトープ
Authors: Feng-Lei Fan, Wei Huang, Xiangru Zhong, Lecheng Ruan, Tieyong Zeng, Huan Xiong, Fei Wang
Abstract要約: ReLUネットワークはポリトープ上の一括線形関数である。ポリトープの形状は,ポリトープを三角測量して得られる簡易度数を用いて検討した。ポリトープの形状を特徴づけることによって、単純化の数は他の問題へのレバレッジとなる。
参考スコア（独自算出の注目度）: 22.969361799006734
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A ReLU network is a piecewise linear function over polytopes. Figuring out the properties of such polytopes is of fundamental importance for the research and development of neural networks. So far, either theoretical or empirical studies on polytopes only stay at the level of counting their number, which is far from a complete characterization of polytopes. To upgrade the characterization to a new level, here we propose to study the shapes of polytopes via the number of simplices obtained by triangulating the polytope. Then, by computing and analyzing the histogram of simplices across polytopes, we find that a ReLU network has relatively simple polytopes under both initialization and gradient descent, although these polytopes theoretically can be rather diverse and complicated. This finding can be appreciated as a novel implicit bias. Next, we use nontrivial combinatorial derivation to theoretically explain why adding depth does not create a more complicated polytope by bounding the average number of faces of polytopes with a function of the dimensionality. Our results concretely reveal what kind of simple functions a network learns and its space partition property. Also, by characterizing the shape of polytopes, the number of simplices be a leverage for other problems, \textit{e.g.}, serving as a generic functional complexity measure to explain the power of popular shortcut networks such as ResNet and analyzing the impact of different regularization strategies on a network's space partition.
Abstract（参考訳）: ReLUネットワークはポリトープ上の一括線形関数である。このようなポリトープの性質を解明することは、ニューラルネットワークの研究と開発に不可欠である。今のところ、ポリトープに関する理論的または実証的な研究は、その数を数える程度にとどまっており、ポリトープの完全な特徴付けとは程遠い。そこで本研究では, ポリトープの三角測量により得られた簡易化の回数から, ポリトープの形状について検討する。そして,ポリトープ全体の単純さのヒストグラムを計算し解析することにより,ReLUネットワークは初期化と勾配降下の両方の下で比較的単純なポリトープを持つことがわかった。この発見は、新しい暗黙の偏見として評価できる。次に、非自明な組合せの導出を用いて、なぜ深さを加えることが、次元の関数でポリトープの面の平均数を束ねることで、より複雑なポリトープを生成しないのかを理論的に説明する。その結果,ネットワークが学習する単純な関数とその空間分割特性を明らかにした。また、ポリトープの形状を特徴付けることで、単純化の数は他の問題へのレバレッジとなり、ResNetのような一般的なショートカットネットワークのパワーを説明し、ネットワークの空間分割に対する様々な正規化戦略の影響を分析するための一般的な機能的複雑性尺度として機能する。

関連論文リスト

Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
論文参考訳（メタデータ） (2024-02-04T08:57:42Z)
PolyGNN: Polyhedron-based Graph Neural Network for 3D Building Reconstruction from Point Clouds [22.18061879431175]
PolyGNNは、再構成ポイントクラウドを構築するためのグラフニューラルネットワークである。多面体分解によって得られる原始体を組み立てることを学ぶ。都市間および実世界の点雲上での移動可能性解析を行う。
論文参考訳（メタデータ） (2023-07-17T16:52:25Z)
Neural Polytopes [0.0]
ReLUを活性化した単純なニューラルネットワークは、様々な次元の単位球の近似としてポリトープを生成する。様々な活性化関数に対して、ニューラルポリトープと呼ばれるポリトープの一般化が得られる。
論文参考訳（メタデータ） (2023-07-03T03:00:22Z)
Polyhedral Complex Extraction from ReLU Networks using Edge Subdivision [0.0]
ニューラルネットワークは、完全接続層やReLUアクティベーションなど、断片的にアフィン構造ブロックで構成されている。この複合体は、ニューラルネットワークの理論的性質を特徴づけるために以前に研究されてきた。本稿では,各ニューロンによって誘導される超平面との交点を介して領域を分割することを提案する。
論文参考訳（メタデータ） (2023-06-12T16:17:04Z)
Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文参考訳（メタデータ） (2023-05-25T14:17:15Z)
Lower Bounds on the Depth of Integral ReLU Neural Networks via Lattice Polytopes [3.0079490585515343]
我々は、$lceillog_(n)rceil$ hidden layerが$n$の最大値を計算するために本当に必要であることを示す。この結果は、ニューラルネットワークと熱帯の幾何学によるニュートンポリトープの双対性に基づいている。
論文参考訳（メタデータ） (2023-02-24T10:14:53Z)
Towards General-Purpose Representation Learning of Polygonal Geometries [62.34832826705641]
我々は,多角形形状を埋め込み空間に符号化できる汎用多角形符号化モデルを開発した。 1)MNISTに基づく形状分類,2)DBSR-46KとDBSR-cplx46Kという2つの新しいデータセットに基づく空間関係予測を行う。以上の結果から,NUFTspec と ResNet1D は,既存のベースラインよりも有意なマージンで優れていた。
論文参考訳（メタデータ） (2022-09-29T15:59:23Z)
Algorithmic Determination of the Combinatorial Structure of the Linear Regions of ReLU Neural Networks [0.0]
正準多面体のすべての次元の領域と面を決定する。この全標準構造を計算するアルゴリズムを提案する。得られたアルゴリズムは、中間ニューロンの数に時間とともに数値的に安定し、すべての次元にわたって正確な情報を得る。
論文参考訳（メタデータ） (2022-07-15T18:36:12Z)
PolyNet: Polynomial Neural Network for 3D Shape Recognition with PolyShape Representation [51.147664305955495]
3次元形状表現とその処理は3次元形状認識に大きな影響を及ぼす。我々は、ディープニューラルネットワークに基づく手法(PolyNet)と特定のポリゴン表現(PolyShape)を提案する。本研究では,3次元形状分類と検索作業におけるPolyNetの長所と長所を実証した。
論文参考訳（メタデータ） (2021-10-15T06:45:59Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
A simple geometric proof for the benefit of depth in ReLU networks [57.815699322370826]
本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
論文参考訳（メタデータ） (2021-01-18T15:40:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。