Fugu-MT 論文翻訳(概要): On the expressivity of deep Heaviside networks

論文の概要: On the expressivity of deep Heaviside networks

arxiv url: http://arxiv.org/abs/2505.00110v1
Date: Wed, 30 Apr 2025 18:25:05 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:55.150027
Title: On the expressivity of deep Heaviside networks
Title（参考訳）: ディープ・ヘヴィサイドネットワークの表現性について
Authors: Insung Kong, Juntong Chen, Sophie Langer, Johannes Schmidt-Hieber,
Abstract要約: ディープ・ヘビサイド・ネットワーク (DHN) は表現力に制限があるが, 接続をスキップするか, ニューロンを線形に活性化させることでこれを克服できることを示す。 Vapnik-Chervonenkis(VC)次元とこれらのネットワーククラスの近似率について下界と上界を提供する。
参考スコア（独自算出の注目度）: 7.374726900469744
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We show that deep Heaviside networks (DHNs) have limited expressiveness but that this can be overcome by including either skip connections or neurons with linear activation. We provide lower and upper bounds for the Vapnik-Chervonenkis (VC) dimensions and approximation rates of these network classes. As an application, we derive statistical convergence rates for DHN fits in the nonparametric regression model.
Abstract（参考訳）: ディープ・ヘビサイド・ネットワーク (DHN) は表現力に制限があるが, 接続をスキップするか, ニューロンを線形に活性化させることでこれを克服できることを示す。 Vapnik-Chervonenkis(VC)次元とこれらのネットワーククラスの近似率について下界と上界を提供する。応用として、非パラメトリック回帰モデルに適合するDHNの統計的収束率を導出する。

関連論文リスト

Lorentzian Residual Neural Networks [15.257990326035694]
双曲幾何学のローレンツモデルにおいて、重み付けされたローレンツ中心体に基づく新しいローレンツ残留ニューラルネットワークであるLResNetを導入する。本手法は,階層的表現能力を保ちながら,双曲型ニューラルネットワークにおける残差接続の効率的な統合を可能にする。ハイパーボリックな埋め込み空間において、より表現力のあるニューラルネットワークを構築するためのLResNetの可能性を強調した。
論文参考訳（メタデータ） (2024-12-19T09:56:01Z)
NEPENTHE: Entropy-Based Pruning as a Neural Network Depth's Reducer [5.373015313199385]
深層ニューラルネットワークの計算負担を軽減するため,nEural Network depTHのrEducerとしてeNtropy-basEdプルーニングを提案する。我々はMobileNetやSwin-Tといった一般的なアーキテクチャに対するアプローチを検証する。
論文参考訳（メタデータ） (2024-04-24T09:12:04Z)
Meta-Principled Family of Hyperparameter Scaling Strategies [9.89901717499058]
広範かつ深いニューラルネットワークのための動的オブザーバブル(ネットワーク出力、ニューラルタンジェントカーネル、ニューラルタンジェントカーネルの差分)のスケーリングを計算する。文献で調べた無限幅制限は、相互接続されたウェブの異なる角に対応する。
論文参考訳（メタデータ） (2022-10-10T18:00:01Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
Phase diagram of Stochastic Gradient Descent in high-dimensional two-layer neural networks [22.823904789355495]
本研究では, 平均流体力学系とサード・アンド・ソルラのセミナルアプローチの関連について検討する。我々の研究は、統計物理学から高次元の速度を決定論的に記述することに基づいている。
論文参考訳（メタデータ） (2022-02-01T09:45:07Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
VC dimension of partially quantized neural networks in the overparametrized regime [8.854725253233333]
我々は、超平面配置ニューラルネットワーク(HANN)と呼ばれる部分量子化されたネットワークのクラスに焦点を当てる。 HANNは重みの数よりもVC次元がかなり小さく、表現力が高いことを示す。 121のUCIデータセットのパネルでは、過度にパラメータ化されたHANNが、最先端のフル精度モデルのパフォーマンスと一致している。
論文参考訳（メタデータ） (2021-10-06T02:02:35Z)
Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
論文参考訳（メタデータ） (2021-04-01T13:03:48Z)
A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文参考訳（メタデータ） (2020-10-27T17:56:14Z)
Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
論文参考訳（メタデータ） (2020-10-27T17:55:16Z)
An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。