論文の概要: Parameter Convex Neural Networks
- arxiv url: http://arxiv.org/abs/2206.05562v1
- Date: Sat, 11 Jun 2022 16:44:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-19 07:47:41.665133
- Title: Parameter Convex Neural Networks
- Title（参考訳）: パラメータ凸ニューラルネットワーク
- Authors: Jingcheng Zhou, Wei Wei, Xing Li, Bowen Pang, Zhiming Zheng
- Abstract要約: 本研究では,ある条件下でのニューラルネットワークのパラメータに関して凸である指数的多層ニューラルネットワーク(EMLP)を提案する。
後期実験では,指数グラフ畳み込みネットワーク(EGCN)を同じアーキテクチャで構築し,グラフ分類データセット上で実験を行う。
- 参考スコア（独自算出の注目度）: 13.42851919291587
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning utilizing deep neural networks (DNNs) has achieved a lot of
success recently in many important areas such as computer vision, natural
language processing, and recommendation systems. The lack of convexity for DNNs
has been seen as a major disadvantage of many optimization methods, such as
stochastic gradient descent, which greatly reduces the genelization of neural
network applications. We realize that the convexity make sense in the neural
network and propose the exponential multilayer neural network (EMLP), a class
of parameter convex neural network (PCNN) which is convex with regard to the
parameters of the neural network under some conditions that can be realized.
Besides, we propose the convexity metric for the two-layer EGCN and test the
accuracy when the convexity metric changes. For late experiments, we use the
same architecture to make the exponential graph convolutional network (EGCN)
and do the experiment on the graph classificaion dataset in which our model
EGCN performs better than the graph convolutional network (GCN) and the graph
attention network (GAT).
- Abstract（参考訳）: ディープニューラルネットワーク(dnn)を活用したディープラーニングは最近、コンピュータビジョン、自然言語処理、レコメンデーションシステムなど、多くの重要な領域で多くの成功を収めています。
DNNの凸性の欠如は、確率勾配降下のような多くの最適化手法の大きな欠点として見なされ、ニューラルネットワークアプリケーションの生成を著しく減らしている。
そこで本研究では,ニューラルネットワークにおいて凸性が意味を持つことを認識し,ある条件下ではニューラルネットワークのパラメータに対して凸となるパラメータ凸ニューラルネットワーク(pcnn)のクラスである指数的多層ニューラルネットワーク(emlp)を提案する。
さらに, 2層 egcn に対する凸計量を提案し, 凸計量が変化したときの精度をテストする。
後期実験では、同じアーキテクチャを用いて指数型グラフ畳み込みネットワーク(egcn)を構築し、モデルegcnがグラフ畳み込みネットワーク(gcn)とグラフアテンションネットワーク(gat)よりも優れた性能を示すグラフ分類データセットの実験を行う。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Deeper or Wider: A Perspective from Optimal Generalization Error with Sobolev Loss [2.07180164747172]
より深いニューラルネットワーク(DeNN)と、柔軟な数のレイヤと、限られた隠れたレイヤを持つより広いニューラルネットワーク(WeNN)を比較します。
より多くのパラメータがWeNNを好む傾向にあるのに対し、サンプルポイントの増加と損失関数の規則性の向上は、DeNNの採用に傾いている。
論文 参考訳（メタデータ） (2024-01-31T20:10:10Z) - Graph Neural Networks Provably Benefit from Structural Information: A
Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。
本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文 参考訳（メタデータ） (2023-06-24T10:21:11Z) - Optimal rates of approximation by shallow ReLU$^k$ neural networks and
applications to nonparametric regression [12.21422686958087]
本研究では、浅いReLU$k$のニューラルネットワークに対応する変動空間の近似能力について検討する。
滑らかさの低い関数に対しては、変動ノルムの観点から近似率が確立される。
浅層ニューラルネットワークは,H"古い関数の学習に最適な最小値が得られることを示す。
論文 参考訳（メタデータ） (2023-04-04T06:35:02Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - Deep Kronecker neural networks: A general framework for neural networks
with adaptive activation functions [4.932130498861987]
我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。
適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
論文 参考訳（メタデータ） (2021-05-20T04:54:57Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。