論文の概要: On the expressivity of sparse maxout networks
- arxiv url: http://arxiv.org/abs/2510.14068v1
- Date: Wed, 15 Oct 2025 20:18:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-17 21:15:14.606259
- Title: On the expressivity of sparse maxout networks
- Title（参考訳）: スパース最大出力ネットワークの表現性について
- Authors: Moritz Grillo, Tobias Hofmann,
- Abstract要約: 我々は、各ニューロンが前の層から一定数の入力を受け取り、最大値の活性化を利用するスパース最大値ネットワークの表現性について検討する。
このようなネットワークによって計算可能な関数と仮想ポリトープのクラスとの双対性を確立し、それらの幾何学をネットワーク表現性の疑問にリンクする。
- 参考スコア（独自算出の注目度）: 0.6445605125467574
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the expressivity of sparse maxout networks, where each neuron takes a fixed number of inputs from the previous layer and employs a, possibly multi-argument, maxout activation. This setting captures key characteristics of convolutional or graph neural networks. We establish a duality between functions computable by such networks and a class of virtual polytopes, linking their geometry to questions of network expressivity. In particular, we derive a tight bound on the dimension of the associated polytopes, which serves as the central tool for our analysis. Building on this, we construct a sequence of depth hierarchies. While sufficiently deep sparse maxout networks are universal, we prove that if the required depth is not reached, width alone cannot compensate for the sparsity of a fixed indegree constraint.
- Abstract（参考訳）: 我々は、各ニューロンが前の層から一定数の入力を受け取り、おそらくは多変数の最大値活性化を用いるスパース最大値ネットワークの表現性について研究する。
この設定は畳み込みニューラルネットワークやグラフニューラルネットワークのキー特性をキャプチャする。
このようなネットワークによって計算可能な関数と仮想ポリトープのクラスとの双対性を確立し、それらの幾何学をネットワーク表現性の疑問にリンクする。
特に、関連するポリトープの次元に厳密な束縛を導出し、解析の中心となるツールとして機能する。
これに基づいて深度階層を構築できる。
十分に深い疎大な最大出力ネットワークは普遍的であるが、必要深度が届かなければ、幅だけでは固定された直交制約の間隔を補うことができないことを証明している。
関連論文リスト
- Maxout Polytopes [0.9857968274865206]
最大出力ポリトープは、第1層の後、最大出力活性化関数と非負重みを持つフィードフォワードニューラルネットワークによって定義される。
浅層ネットワークにおける最大ポリトープのパラメータ空間と極端Fベクトルを特徴付けるとともに,ネットワークに層を追加して発生する超曲面の分離について検討する。
論文 参考訳（メタデータ） (2025-09-25T15:06:10Z) - Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。
いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
論文 参考訳（メタデータ） (2024-02-21T18:35:27Z) - Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。
本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。
MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
論文 参考訳（メタデータ） (2024-02-04T08:57:42Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳（メタデータ） (2023-05-25T14:17:15Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - Recursive Multi-model Complementary Deep Fusion forRobust Salient Object
Detection via Parallel Sub Networks [62.26677215668959]
完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。
本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。
いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
論文 参考訳（メタデータ） (2020-08-07T10:39:11Z) - On Infinite-Width Hypernetworks [101.03630454105621]
我々は、ハイパーネットワークが、下降中のグローバルなミニマを保証していないことを示す。
我々は,これらのアーキテクチャの機能的先行を,対応するGPカーネルとNTKカーネルを導出することによって同定する。
この研究の一環として、標準完全連結ReLUネットワークの高次テイラー項の厳密な境界を導出した数学的貢献を行う。
論文 参考訳（メタデータ） (2020-03-27T00:50:29Z) - Quasi-Equivalence of Width and Depth of Neural Networks [10.365556153676538]
人工ニューラルネットワークの設計が指向性を持つかどうかを検討する。
De Morgan法に触発されて、ReLUネットワークの幅と深さの間に準等価性を確立する。
以上の結果から,深層ネットワークは任意に小さな誤差を被る広い等価性を有することがわかった。
論文 参考訳（メタデータ） (2020-02-06T21:17:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。