論文の概要: Nonlinear Weighted Directed Acyclic Graph and A Priori Estimates for Neural Networks

• arxiv url: http://arxiv.org/abs/2103.16355v1
• Date: Tue, 30 Mar 2021 13:54:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 15:11:41.530333
• Title: Nonlinear Weighted Directed Acyclic Graph and A Priori Estimates for Neural Networks
• Title（参考訳）: 非線形重み付き非巡回グラフとニューラルネットワークの事前推定
• Authors: Yuqing Li, Tao Luo, Chao Ma
• Abstract要約: まず、完全連結、残留ネットワーク(ResNet)、密結合ネットワーク(DenseNet)を含むニューラルネットワークモデルの新しいグラフ理論的定式化について述べる。 本研究では,2層ネットワークであるprioritwoとresnetcitee 2019prioriresの集団リスクの誤差解析をdrknetに拡張し,一定の軽度条件を満たすニューラルネットワークでは同様の推定が得られることを示す。
• 参考スコア（独自算出の注目度）: 9.43712471169533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In an attempt to better understand structural benefits and generalization power of deep neural networks, we firstly present a novel graph theoretical formulation of neural network models, including fully connected, residual network~(ResNet) and densely connected networks~(DenseNet). Secondly, we extend the error analysis of the population risk for two layer network~\cite{ew2019prioriTwo} and ResNet~\cite{e2019prioriRes} to DenseNet, and show further that for neural networks satisfying certain mild conditions, similar estimates can be obtained. These estimates are a priori in nature since they depend sorely on the information prior to the training process, in particular, the bounds for the estimation errors are independent of the input dimension.
• Abstract（参考訳）: 深層ニューラルネットワークの構造的利点と一般化能力をよりよく理解するために、まず、完全連結、残留ネットワーク〜(ResNet)および密連結ネットワーク〜(DenseNet)を含むニューラルネットワークモデルの新しいグラフ理論的定式化を提案する。 次に、2層ネットワーク〜\cite{ew2019prioriTwo} と ResNet~\cite{e2019prioriRes} の集団リスクの誤差解析をDenseNetに拡張し、ある穏やかな条件を満たすニューラルネットワークに対して、同様の推定値が得られることを示す。 これらの推定は、トレーニングプロセス以前の情報、特に推定誤差の境界が入力次元から独立しているため、本質的には優先順位である。

関連論文リスト

• Generalization Error of Graph Neural Networks in the Mean-field Regime [10.35214360391282]
  グラフ畳み込みニューラルネットワークとメッセージパッシンググラフニューラルネットワークという,広く利用されている2種類のグラフニューラルネットワークについて検討する。 我々の新しいアプローチは、これらのグラフニューラルネットワークの一般化誤差を評価する平均場内上限を導出することである。
  論文  参考訳（メタデータ） (2024-02-10T19:12:31Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Fundamental limits of overparametrized shallow neural networks for supervised learning [11.136777922498355]
  本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。 この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
  論文  参考訳（メタデータ） (2023-07-11T08:30:50Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Approximate Bisimulation Relations for Neural Networks and Application to Assured Neural Network Compression [3.0839245814393728]
  本稿では,フィードフォワードニューラルネットワークに対する近似バイシミュレーション関係の概念を提案する。 2つのニューラルネットワーク間の近似バイシミュレーション誤差を計算するために,新しいニューラルネットワークマージ法を開発した。
  論文  参考訳（メタデータ） (2022-02-02T16:21:19Z)
• Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks [6.173968909465726]
  線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。 層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
  論文  参考訳（メタデータ） (2021-12-08T16:17:33Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。