論文の概要: Piecewise Linear Neural Networks and Deep Learning

• arxiv url: http://arxiv.org/abs/2206.09149v1
• Date: Sat, 18 Jun 2022 08:41:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 17:32:45.417142
• Title: Piecewise Linear Neural Networks and Deep Learning
• Title（参考訳）: 区分線形ニューラルネットワークとディープラーニング
• Authors: Qinghua Tao, Li Li, Xiaolin Huang, Xiangming Xi, Shuning Wang, Johan A.K. Suykens
• Abstract要約: PieceWise Linear Neural Networks (PWLNN) は様々な分野で成功している。 1977年、標準表現は、漸進的な設計から学んだ浅いPWLNNの研究の先駆者となった。 2010年、Rectified Linear Unit (ReLU) は深層学習におけるPWLNNの普及を提唱した。
• 参考スコア（独自算出の注目度）: 27.02556725989978
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As a powerful modelling method, PieceWise Linear Neural Networks (PWLNNs) have proven successful in various fields, most recently in deep learning. To apply PWLNN methods, both the representation and the learning have long been studied. In 1977, the canonical representation pioneered the works of shallow PWLNNs learned by incremental designs, but the applications to large-scale data were prohibited. In 2010, the Rectified Linear Unit (ReLU) advocated the prevalence of PWLNNs in deep learning. Ever since, PWLNNs have been successfully applied to extensive tasks and achieved advantageous performances. In this Primer, we systematically introduce the methodology of PWLNNs by grouping the works into shallow and deep networks. Firstly, different PWLNN representation models are constructed with elaborated examples. With PWLNNs, the evolution of learning algorithms for data is presented and fundamental theoretical analysis follows up for in-depth understandings. Then, representative applications are introduced together with discussions and outlooks.
• Abstract（参考訳）: 強力なモデリング手法として、PieceWise Linear Neural Networks (PWLNN) が様々な分野で成功している。 PWLNN法を適用するために、表現と学習の両方が長い間研究されてきた。 1977年、標準表現は漸進的な設計によって学習された浅いPWLNNの研究の先駆者となったが、大規模データへの応用は禁止された。 2010年、Rectified Linear Unit (ReLU) は深層学習におけるPWLNNの普及を提唱した。 それ以来、pwlnは広範囲なタスクにうまく適用され、有利なパフォーマンスを達成してきた。 本稿では,pwlnnの方法論を,浅層ネットワークと深層ネットワークにグループ化して体系的に導入する。 まず、異なるpwlnn表現モデルが詳細な例で構築される。 PWLNNでは、データの学習アルゴリズムの進化が示され、基本的な理論的分析が深い理解のために続く。 そして、議論や展望とともに代表的アプリケーションが紹介される。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Multiway Multislice PHATE: Visualizing Hidden Dynamics of RNNs through Training [6.326396282553267]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルなデータ分析に広く使われているツールであるが、計算のブラックボックスとしてよく見られる。 本稿では,RNNの隠れ状態の進化を可視化する新しい手法であるMultiway Multislice PHATE(MM-PHATE)を提案する。
  論文  参考訳（メタデータ） (2024-06-04T05:05:27Z)
• Topological Representations of Heterogeneous Learning Dynamics of Recurrent Spiking Neural Networks [16.60622265961373]
  スパイキングニューラルネットワーク(SNN)は神経科学と人工知能において重要なパラダイムとなっている。 近年,深層ニューラルネットワークのネットワーク表現について研究が進められている。
  論文  参考訳（メタデータ） (2024-03-19T05:37:26Z)
• When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
  過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。 一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
  論文  参考訳（メタデータ） (2023-04-29T11:46:53Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• A self consistent theory of Gaussian Processes captures feature learning effects in finite CNNs [2.28438857884398]
  無限幅/チャネル制限のディープニューラルネットワーク(DNN)が最近注目を集めている。 理論上の魅力にもかかわらず、この視点は有限DNNにおいて深層学習の重要な要素を欠いている。 ここでは,大きなトレーニングセット上で雑音勾配勾配で訓練されたDNNを考察し,強い有限DNNと特徴学習効果を考慮した自己一貫したガウス過程理論を導出する。
  論文  参考訳（メタデータ） (2021-06-08T05:20:00Z)
• Recent Advances in Large Margin Learning [63.982279380483526]
  本稿では,(非線形)深層ニューラルネットワーク(dnn)のための大規模マージントレーニングとその理論的基礎の最近の進歩に関する調査を行う。 古典研究から最新のDNNへの分類マージンの策定を一般化し、マージン、ネットワーク一般化、堅牢性の間の理論的関連性をまとめ、最近のDNNのマージン拡大の取り組みを総合的に紹介します。
  論文  参考訳（メタデータ） (2021-03-25T04:12:00Z)
• A Practical Tutorial on Graph Neural Networks [49.919443059032226]
  グラフニューラルネットワーク(GNN)は、人工知能(AI)分野において最近人気が高まっている。 このチュートリアルでは、GNNのパワーとノベルティをAI実践者に公開している。
  論文  参考訳（メタデータ） (2020-10-11T12:36:17Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• Deep Transform and Metric Learning Network: Wedding Deep Dictionary Learning and Neural Networks [34.49034775978504]
  1つの線形層とリカレントニューラルネットワーク(RNN)の組み合わせで各DL層を定式化できる新しいDDL手法を提案する。 提案する研究は,ニューラルネットワークとDDLに関する新たな知見を公開し,深層変換を共同学習するための新しい,効率的かつ競争的なアプローチと,推論アプリケーションのためのメトリクスを提供する。
  論文  参考訳（メタデータ） (2020-02-18T22:04:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。