論文の概要: On the Principles of ReLU Networks with One Hidden Layer

• arxiv url: http://arxiv.org/abs/2411.06728v1
• Date: Mon, 11 Nov 2024 05:51:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:13:10.416182
• Title: On the Principles of ReLU Networks with One Hidden Layer
• Title（参考訳）: 隠蔽層を有するReLUネットワークの原理について
• Authors: Changcun Huang,
• Abstract要約: バックプロパゲーションアルゴリズムによって得られる解のメカニズムをどう解釈するかは、まだ不明である。 理論的にも実験的にも, 1次元入力のトレーニング解が完全に理解できることが示されている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: A neural network with one hidden layer or a two-layer network (regardless of the input layer) is the simplest feedforward neural network, whose mechanism may be the basis of more general network architectures. However, even to this type of simple architecture, it is also a ``black box''; that is, it remains unclear how to interpret the mechanism of its solutions obtained by the back-propagation algorithm and how to control the training process through a deterministic way. This paper systematically studies the first problem by constructing universal function-approximation solutions. It is shown that, both theoretically and experimentally, the training solution for the one-dimensional input could be completely understood, and that for a higher-dimensional input can also be well interpreted to some extent. Those results pave the way for thoroughly revealing the black box of two-layer ReLU networks and advance the understanding of deep ReLU networks.
• Abstract（参考訳）: 1つの隠蔽層または2層ネットワーク(入力層によらず)を持つニューラルネットワークは、より一般的なネットワークアーキテクチャの基盤となる最も単純なフィードフォワードニューラルネットワークである。 しかし、このような単純なアーキテクチャであっても、'black box'' でもあるため、バックプロパゲーションアルゴリズムによって得られるソリューションのメカニズムと、決定論的手法によるトレーニングプロセスの制御方法をどう解釈するかは、いまだ不明である。 本稿では, 普遍関数近似解を構築することにより, 最初の問題を体系的に研究する。 理論的にも実験的にも、一次元入力のトレーニング解は完全に理解でき、高次元入力についてもある程度の解釈が可能であることが示されている。 これらの結果は、2層ReLUネットワークのブラックボックスを徹底的に明らかにし、深層ReLUネットワークの理解を深める道を開いた。

関連論文リスト

• Rotation Equivariant Proximal Operator for Deep Unfolding Methods in Image Restoration [68.18203605110719]
  本稿では, 回転対称性を組み込んだ高精度な回転同変近位ネットワークを提案する。 本研究は, 回転対称性の先行を深く展開する枠組みに効果的に組み込む, 高精度な回転同変近位ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-25T11:53:06Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• Universal Solutions of Feedforward ReLU Networks for Interpolations [0.0]
  本稿では、一般化のためのフィードフォワードReLUネットワークの解に関する理論的枠組みを提供する。 3層ネットワークでは,異なる種類の解を分類し,それらを正規化された形でモデル化し,その解探索をデータ,ネットワーク,トレーニングを含む3次元で検討する。 ディープ層ネットワークにおいて,ディープ層の基本挙動を記述できるスパース行列原理(sparse-matrix principle)と呼ばれる一般結果を示す。
  論文  参考訳（メタデータ） (2022-08-16T02:15:03Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
  我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。 本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T09:24:11Z)
• The Principles of Deep Learning Theory [19.33681537640272]
  この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。 これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。 トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
  論文  参考訳（メタデータ） (2021-06-18T15:00:00Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。