論文の概要: A Unified Representation of Neural Networks Architectures

• arxiv url: http://arxiv.org/abs/2512.17593v2
• Date: Mon, 22 Dec 2025 15:11:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 14:49:56.335806
• Title: A Unified Representation of Neural Networks Architectures
• Title（参考訳）: ニューラルネットワークアーキテクチャの統一表現
• Authors: Christophe Prieur, Mircea Lazar, Bogdan Robu,
• Abstract要約: 本稿では,各隠蔽層内のニューロン数と隠蔽層数とが無限大となる傾向にある場合,ニューラルネットワークアーキテクチャ(NN)の制限事例について考察する。 既存の有限次元および無限次元NNのほとんどが、DiPaNet表現とホモジェナイゼーション/離散化を介して関連していることを示す。
• 参考スコア（独自算出の注目度）: 2.7018389296091505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we consider the limiting case of neural networks (NNs) architectures when the number of neurons in each hidden layer and the number of hidden layers tend to infinity thus forming a continuum, and we derive approximation errors as a function of the number of neurons and/or hidden layers. Firstly, we consider the case of neural networks with a single hidden layer and we derive an integral infinite width neural representation that generalizes existing continuous neural networks (CNNs) representations. Then we extend this to deep residual CNNs that have a finite number of integral hidden layers and residual connections. Secondly, we revisit the relation between neural ODEs and deep residual NNs and we formalize approximation errors via discretization techniques. Then, we merge these two approaches into a unified homogeneous representation of NNs as a Distributed Parameter neural Network (DiPaNet) and we show that most of the existing finite and infinite-dimensional NNs architectures are related via homogenization/discretization with the DiPaNet representation. Our approach is purely deterministic and applies to general, uniformly continuous matrix weight functions. Relations with neural fields and other neural integro-differential equations are discussed along with further possible generalizations and applications of the DiPaNet framework.
• Abstract（参考訳）: 本稿では,各隠蔽層内のニューロン数と隠蔽層数とが無限大となる傾向にある場合のニューラルネットワークアーキテクチャ(NN)の制限事例を考察し,ニューロン数および/または隠蔽層数の関数として近似誤差を導出する。 まず、単一の隠蔽層を持つニューラルネットワークの場合について考察し、既存の連続ニューラルネットワーク(CNN)表現を一般化する無限幅ニューラルネットワーク表現を導出する。 そして、これを、有限個の隠蔽層と残余接続を持つ深い残留CNNに拡張する。 次に,ニューラルネットワークとディープ残差NNの関係を再検討し,離散化手法を用いて近似誤差を定式化する。 次に、これらの2つのアプローチを分散パラメータニューラルネットワーク(DiPaNet)として統合した同次表現にマージし、既存の有限次元および無限次元NNのアーキテクチャのほとんどは、DiPaNet表現との均質化/分散化によって関連していることを示す。 我々のアプローチは純粋に決定論的であり、一般的な一様連続行列重み関数に適用できる。 DiPaNetフレームワークのさらなる一般化と応用とともに、ニューラルネットワークやその他の神経積分微分方程式との関係について論じる。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Universal Approximation and the Topological Neural Network [0.0]
  トポロジカルニューラルネットワーク(TNN)は、通常の有限次元空間の代わりにチコノフ位相空間からデータを取得する。 また、ボレル測度をデータとする分布ニューラルネットワーク(DNN)も導入する。
  論文  参考訳（メタデータ） (2023-05-26T05:28:10Z)
• Nonlocal Kernel Network (NKN): a Stable and Resolution-Independent Deep Neural Network [23.465930256410722]
  非ローカルカーネルネットワーク(NKN)は、ディープニューラルネットワークを特徴とする解像度独立である。 NKNは、支配方程式の学習や画像の分類など、さまざまなタスクを処理できる。
  論文  参考訳（メタデータ） (2022-01-06T19:19:35Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Non-asymptotic Excess Risk Bounds for Classification with Deep Convolutional Neural Networks [6.051520664893158]
  本稿では,一般の深層畳み込みニューラルネットワークを用いたバイナリ分類の問題を考える。 我々は、入力データ次元と他のモデルパラメータの観点から、リスク境界の要素を定義する。 CNNを用いた分類手法は次元の呪いを回避できることを示す。
  論文  参考訳（メタデータ） (2021-05-01T15:55:04Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Banach Space Representer Theorems for Neural Networks and Ridge Splines [17.12783792226575]
  データに適合するニューラルネットワークで学習した関数の性質を理解するための変分フレームワークを開発する。 有限幅単層ニューラルネットワークが逆問題に対する解であることを示す代表者定理を導出する。
  論文  参考訳（メタデータ） (2020-06-10T02:57:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。