論文の概要: On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity

• arxiv url: http://arxiv.org/abs/2010.12125v2
• Date: Thu, 25 Feb 2021 06:22:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 21:51:40.141767
• Title: On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity
• Title（参考訳）: ディープニューラルネットワークを構成する線形関数の個数について:ニューラルネットワークの複素性の再定義に向けて
• Authors: Yuuki Takai, Akiyoshi Sannai, Matthieu Cordonnier
• Abstract要約: 分割線型関数を構成する線形関数間の同値関係を導入し、その同値関係に対してそれらの線形関数を数える。 我々の新しい複雑性測度は、2つのモデルを明確に区別することができ、古典的測度と整合し、指数関数的に深さに比例して増加する。
• 参考スコア（独自算出の注目度）: 6.252236971703546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The classical approach to measure the expressive power of deep neural networks with piecewise linear activations is based on counting their maximum number of linear regions. This complexity measure is quite relevant to understand general properties of the expressivity of neural networks such as the benefit of depth over width. Nevertheless, it appears limited when it comes to comparing the expressivity of different network architectures. This lack becomes particularly prominent when considering permutation-invariant networks, due to the symmetrical redundancy among the linear regions. To tackle this, we propose a refined definition of piecewise linear function complexity: instead of counting the number of linear regions directly, we first introduce an equivalence relation among the linear functions composing a piecewise linear function and then count those linear functions relative to that equivalence relation. Our new complexity measure can clearly distinguish between the two aforementioned models, is consistent with the classical measure, and increases exponentially with depth.
• Abstract（参考訳）: 分割線形活性化を持つディープニューラルネットワークの表現力を測定する古典的なアプローチは、その最大線形領域数を数えることに基づいている。 この複雑性尺度は、幅を超える深さの利点のようなニューラルネットワークの表現性の一般的な特性を理解するのに非常に重要である。 それにもかかわらず、異なるネットワークアーキテクチャの表現性を比較することは限られているように見える。 この欠如は、線形領域間の対称冗長性のため、置換不変ネットワークを考えるときに特に顕著になる。 そこで本稿では, 直列領域の数を数える代わりに, 直列線型関数を構成する線形関数間の同値関係を導入し, その同値関係に対してそれらの線形関数を数える。 我々の新しい複雑性測度は、上記の2つのモデルを明確に区別することができ、古典測度と一致し、深さとともに指数関数的に増加する。

関連論文リスト

• Spectral complexity of deep neural networks [2.099922236065961]
  我々は,ネットワークアーキテクチャの複雑さを特徴付けるために,制限場の角パワースペクトルを用いる。 そこで我々は,ニューラルネットワークを低次,スパース,高次と分類する。 本稿では,この分類が標準アクティベーション関数の様々な特徴,特にReLUネットワークの空間特性を如何に強調するかを示す。
  論文  参考訳（メタデータ） (2024-05-15T17:55:05Z)
• An Adaptive Tangent Feature Perspective of Neural Networks [4.900298402690262]
  特徴量の線形変換を考察し、パラメータと双線型制約による変換を共同で最適化する。 ニューラルネットワークの構造に特化して、機能がどのように変化し、カーネル関数が変化するかについての洞察を得る。 実ニューラルネットワークのカーネルアライメントにおける理論的観察を検証する。
  論文  参考訳（メタデータ） (2023-08-29T17:57:20Z)
• On the relationship between multivariate splines and infinitely-wide neural networks [0.0]
  関連する函数空間はユークリッド球面上のソボレフ空間であり、微分のノルムに明示的に有界であることを示す。 このランダムな特徴展開は、理論と実践の両方において、通常のランダムなフーリエ特徴よりも数値的に良く振る舞う。 特に1次元において、関連するレバレッジスコアを比較して、2つのランダム展開を比較し、ニューラルネットワーク拡張のためのより良いスケーリングを示す。
  論文  参考訳（メタデータ） (2023-02-07T13:29:06Z)
• On the Number of Regions of Piecewise Linear Neural Networks [16.78532039510369]
  多くのフィードフォワードニューラルネットワーク(NN)はCPWLマッピングを生成する。 これらのいわゆる線形領域の数は、CPWL NNの表現性を特徴付ける自然な計量を提供する。 本稿では,CPWL NN が生成する線形領域の平均数を推定する補完的フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-17T08:17:28Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Deep neural networks for smooth approximation of physics with higher order and continuity B-spline base functions [0.4588028371034407]
  伝統的に、ニューラルネットワークは、与えられた物理現象を近似するために非線形活性化関数を使用する。 そこで本研究では, 物理量を滑らかなB-スプライン基底関数の線形結合として近似する手法を提案する。 物理場を近似する場合,我々のアプローチはより安価で正確であることを示す。
  論文  参考訳（メタデータ） (2022-01-03T23:02:39Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。