論文の概要: On the Principles of Deep Feedforward ReLU Networks

• arxiv url: http://arxiv.org/abs/2607.07035v1
• Date: Wed, 08 Jul 2026 06:09:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.301116
• Title: On the Principles of Deep Feedforward ReLU Networks
• Title（参考訳）: ディープフィードフォワードReLUネットワークの原理について
• Abstract要約: 本稿では,複数の隠蔽層を有するディープフィードフォワードReLUネットワークの機構を系統的に研究する。 バックプロパゲーションアルゴリズムによって得られたトレーニングソリューションをうまく説明する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The architecture of deep feedforward neural networks is ubiquitous in deep learning, either as a whole system or as a subnetwork of other architectures, and thus its mechanism is a key ingredient of the black box of neural networks. On the basis of the simplest two-layer ReLU network, this paper systematically studies the mechanism of deep feedforward ReLU networks with multiple hidden layers and successfully explains the training solution obtained by the back-propagation algorithm. The concept of a path, especially in terms of the relationships between paths, plays a central role in uncovering the mystery of the black box. It is shown that a unit of a deep ReLU network can form a piecewise linear manifold to divide the input space, instead of a hyperplane of the two-layer case. How to efficiently use the hidden-layer units to produce both linear functions and partitions of the input space is also a central problem. The principles of a two-layer ReLU network can be generalized to the deeper case to a large extent, such as multiple strict partial orders and continuity restriction. The combination of the basic and simple principles proposed can yield complicated instantiations including the training solutions, and in this sense the black box of deep feedforward ReLU networks is revealed.
• Abstract（参考訳）: ディープフィードフォワードニューラルネットワークのアーキテクチャは、システム全体または他のアーキテクチャのサブネットワークとして、ディープラーニングにおいてユビキタスであり、そのメカニズムはニューラルネットワークのブラックボックスの重要な要素である。 本稿では,最も単純な2層ReLUネットワークに基づいて,複数の層を隠蔽したディープフィードフォワードReLUネットワークのメカニズムを体系的に研究し,バックプロパゲーションアルゴリズムによって得られたトレーニングソリューションをうまく説明する。 経路の概念、特に経路間の関係の観点からは、ブラックボックスの謎を明らかにする上で中心的な役割を果たす。 ディープ ReLU ネットワークの単位は、2層の場合の超平面ではなく、入力空間を分割するために断片的に線型多様体を形成することができる。 入力空間の線形関数と分割の両方を生成するために隠蔽層ユニットを効率的に利用する方法もまた中心的な問題である。 2層ReLUネットワークの原理は、複数の厳密な部分順序や連続性制限など、より深いケースに大まかに一般化することができる。 基本原理と簡易原理を組み合わせることで、トレーニングソリューションを含む複雑なインスタンス化が可能になり、この意味では、深いフィードフォワードReLUネットワークのブラックボックスが明らかにされる。

関連論文リスト

• On the Principles of ReLU Networks with One Hidden Layer [0.0]
  バックプロパゲーションアルゴリズムによって得られる解のメカニズムをどう解釈するかは、まだ不明である。 理論的にも実験的にも, 1次元入力のトレーニング解が完全に理解できることが示されている。
  論文  参考訳（メタデータ） (2024-11-11T05:51:11Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• On the training and generalization of deep operator networks [11.159056906971983]
  深層演算ネットワーク(DeepONets)のための新しいトレーニング手法を提案する。 DeepONetsは2つのサブネットワークによって構築されている。 入力データの観点から幅誤差推定値を確立する。
  論文  参考訳（メタデータ） (2023-09-02T21:10:45Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [44.31729147722701]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• Universal Solutions of Feedforward ReLU Networks for Interpolations [0.0]
  本稿では、一般化のためのフィードフォワードReLUネットワークの解に関する理論的枠組みを提供する。 3層ネットワークでは,異なる種類の解を分類し,それらを正規化された形でモデル化し,その解探索をデータ,ネットワーク,トレーニングを含む3次元で検討する。 ディープ層ネットワークにおいて,ディープ層の基本挙動を記述できるスパース行列原理(sparse-matrix principle)と呼ばれる一般結果を示す。
  論文  参考訳（メタデータ） (2022-08-16T02:15:03Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Quasi-Equivalence of Width and Depth of Neural Networks [10.365556153676538]
  人工ニューラルネットワークの設計が指向性を持つかどうかを検討する。 De Morgan法に触発されて、ReLUネットワークの幅と深さの間に準等価性を確立する。 以上の結果から,深層ネットワークは任意に小さな誤差を被る広い等価性を有することがわかった。
  論文  参考訳（メタデータ） (2020-02-06T21:17:32Z)
• A Rigorous Framework for the Mean Field Limit of Multilayer Neural Networks [9.89901717499058]
  ニューラルネットワークを平均場に埋め込むための数学的に厳密なフレームワークを開発する。 ネットワークの幅が大きくなるにつれて、ネットワークの学習軌道は制限によってうまく捉えられることが示される。 我々は、大幅多層ネットワークのいくつかの特性を証明した。
  論文  参考訳（メタデータ） (2020-01-30T16:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。