論文の概要: Towards Understanding Theoretical Advantages of Complex-Reaction Networks

• arxiv url: http://arxiv.org/abs/2108.06711v1
• Date: Sun, 15 Aug 2021 10:13:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-17 15:25:46.360002
• Title: Towards Understanding Theoretical Advantages of Complex-Reaction Networks
• Title（参考訳）: 複雑反応ネットワークの理論的アドバンテージの理解に向けて
• Authors: Shao-Qun Zhang, Gao Wei, Zhi-Hua Zhou
• Abstract要約: パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。 経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
• 参考スコア（独自算出の注目度）: 77.34726150561087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Complex-valued neural networks have attracted increasing attention in recent years, while it remains open on the advantages of complex-valued neural networks in comparison with real-valued networks. This work takes one step on this direction by introducing the \emph{complex-reaction network} with fully-connected feed-forward architecture. We prove the universal approximation property for complex-reaction networks, and show that a class of radial functions can be approximated by a complex-reaction network using the polynomial number of parameters, whereas real-valued networks need at least exponential parameters to reach the same approximation level. For empirical risk minimization, our theoretical result shows that the critical point set of complex-reaction networks is a proper subset of that of real-valued networks, which may show some insights on finding the optimal solutions more easily for complex-reaction networks.
• Abstract（参考訳）: 近年、複雑な数値ニューラルネットワークが注目を集めている一方で、実数値ニューラルネットワークと比較して、複雑な数値ニューラルネットワークの利点が注目されている。 この研究は、完全接続されたフィードフォワードアーキテクチャを持つ \emph{complex-reaction network} を導入することで、この方向への一歩を踏み出します。 複素反応ネットワークの普遍近似特性を証明し、パラメータの多項式数を用いて放射関数のクラスを複素反応ネットワークで近似できることを示し、一方実数値ネットワークは同じ近似レベルに達するためには少なくとも指数関数を必要とする。 経験的リスク最小化については, 複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを理論的に示した。

関連論文リスト

• Quantifying Emergence in Neural Networks: Insights from Pruning and Training Dynamics [0.0]
  ネットワーク内の単純なコンポーネントの相互作用から複雑な振る舞いが発達する創発性は、機能強化において重要な役割を担います。 本稿では,トレーニングプロセス中の出現を計測し,ネットワーク性能に与える影響を定量的に検討する枠組みを提案する。 我々の仮説は、アクティブノードと非アクティブノードの接続によって定義される出現度が、ネットワークにおける創発的行動の発生を予測することができることを示唆している。
  論文  参考訳（メタデータ） (2024-09-03T03:03:35Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Exploring the Complexity of Deep Neural Networks through Functional Equivalence [1.3597551064547502]
  本稿では,ニューラルネットワークの複雑性を低減できることを示す,ディープニューラルネットワークの被覆数に縛られた新しい手法を提案する。 ネットワーク幅の増大により有効パラメータ空間の容量が減少するので、パラメータ化ネットワーク上でのトレーニングが容易になる傾向があるため、関数同値の利点が最適化されることを実証する。
  論文  参考訳（メタデータ） (2023-05-19T04:01:27Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• The Principles of Deep Learning Theory [19.33681537640272]
  この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。 これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。 トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
  論文  参考訳（メタデータ） (2021-06-18T15:00:00Z)
• Conceptual capacity and effective complexity of neural networks [0.7734726150561086]
  本稿では,異なる入力からの接空間の集合の多様性に基づくニューラルネットワークマッピング関数の複雑度測定法を提案する。 各接空間を線形pac概念として扱うために、ネットワークの概念的容量を推定するために、概念束のエントロピーに基づく測度を用いる。
  論文  参考訳（メタデータ） (2021-03-13T04:32:59Z)
• On reaction network implementations of neural networks [0.0]
  本稿では,(フィードフォワード)ニューラルネットワークの実装に決定論的にモデル化された化学反応ネットワークの利用について述べる。 ニューラルネットワークのある種の反応ネットワーク実装に付随する常微分方程式(ODE)が望ましい性質を持つことを示す。
  論文  参考訳（メタデータ） (2020-10-26T02:37:26Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。