Fugu-MT 論文翻訳(概要): Interpretable global minima of deep ReLU neural networks on sequentially separable data

論文の概要: Interpretable global minima of deep ReLU neural networks on sequentially separable data

arxiv url: http://arxiv.org/abs/2405.07098v2
Date: Mon, 16 Sep 2024 18:55:22 GMT
ステータス: 処理完了
システム内更新日: 2024-09-18 22:10:43.456543
Title: Interpretable global minima of deep ReLU neural networks on sequentially separable data
Title（参考訳）: 逐次分離可能なデータを用いた深部ReLUニューラルネットワークの解釈可能な大域最小化
Authors: Thomas Chen, Patricia Muñoz Ewald,
Abstract要約: ゼロ損失ニューラルネットワーク分類器を明示的に構築する。重み行列とバイアスベクトルを累積パラメータの観点から記述する。検討したトレーニングデータの構成は、各クラスに対応する十分に小さく、十分に分離されたクラスタ、および(ii)連続的に線形分離可能な等価クラスである。
参考スコア（独自算出の注目度）: 1.189367612437469
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We explicitly construct zero loss neural network classifiers. We write the weight matrices and bias vectors in terms of cumulative parameters, which determine truncation maps acting recursively on input space. The configurations for the training data considered are (i) sufficiently small, well separated clusters corresponding to each class, and (ii) equivalence classes which are sequentially linearly separable. In the best case, for $Q$ classes of data in $\mathbb{R}^M$, global minimizers can be described with $Q(M+2)$ parameters.
Abstract（参考訳）: ゼロ損失ニューラルネットワーク分類器を明示的に構築する。重み行列とバイアスベクトルを累積パラメータで記述し、入力空間上で再帰的に作用するトランケーション写像を決定する。検討されたトレーニングデータの構成は、 (i)各クラスに対応する十分に小さく、十分に分離されたクラスタ、及び (ii) 逐次線形分離可能な同値類。最良の場合、$\mathbb{R}^M$のデータの$Q$クラスの場合、大域最小化子は$Q(M+2)$パラメータで記述できる。

関連論文リスト

Rethinking generalization of classifiers in separable classes scenarios and over-parameterized regimes [0.0]
分離可能なクラスでは、トレーニングデータ n の数で「悪い」大域最小値の割合が指数関数的に減少することを示す。本稿では,MNIST と CIFAR-10 の実験と整合した学習曲線を求める,真の誤差の密度分布のモデルを提案する。
論文参考訳（メタデータ） (2024-10-22T10:12:57Z)
Generalization and Stability of Interpolating Neural Networks with Minimal Width [37.908159361149835]
補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。 m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
論文参考訳（メタデータ） (2023-02-18T05:06:15Z)
Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文参考訳（メタデータ） (2022-06-17T04:07:45Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文参考訳（メタデータ） (2022-03-17T04:34:28Z)
Besov Function Approximation and Binary Classification on Low-Dimensional Manifolds Using Convolutional Residual Networks [42.43493635899849]
畳み込み残余ネットワーク(ConvResNet)の理論的保証を関数近似および二項分類の統計的推定の観点から確立する。その結果,ConvResNetsはデータセットの低次元構造に適応していることがわかった。
論文参考訳（メタデータ） (2021-09-07T02:58:11Z)
Under-bagging Nearest Neighbors for Imbalanced Classification [63.026765294759876]
我々は,不均衡な分類問題に対して,textitunder-bagging $k$-NN (textitunder-bagging $k$-NN) というアンサンブル学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-09-01T14:10:38Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
Geometry of the Loss Landscape in Overparameterized Neural Networks: Symmetries and Invariances [9.390008801320024]
それぞれに1つの余分なニューロンを加えると、以前の離散ミニマを1つの多様体に接続するのに十分であることを示す。対称性によって誘導される臨界部分空間の数が、大域ミニマ多様体を構成するアフィン部分空間の数を支配していることを示す。
論文参考訳（メタデータ） (2021-05-25T21:19:07Z)
Self-Regularity of Non-Negative Output Weights for Overparameterized Two-Layer Neural Networks [16.64116123743938]
我々は、Sigmoid, rectified linear unit (ReLU) を用いた2層ニューラルネットワークの探索問題を考える。そして、その境界を利用して、Emphfat-shattering dimensionを通じてそのようなネットワークの保証を確立する。特に、我々の境界はサンプルの複雑さも良い(低次数$$d$のポリノミアル)。
論文参考訳（メタデータ） (2021-03-02T17:36:03Z)
OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
論文参考訳（メタデータ） (2020-04-20T02:41:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。