論文の概要: On reaction network implementations of neural networks

• arxiv url: http://arxiv.org/abs/2010.13290v3
• Date: Tue, 9 Mar 2021 01:17:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 18:05:16.352031
• Title: On reaction network implementations of neural networks
• Title（参考訳）: ニューラルネットワークの反応ネットワーク実装について
• Authors: David F. Anderson, Badal Joshi, and Abhishek Deshpande
• Abstract要約: 本稿では,(フィードフォワード)ニューラルネットワークの実装に決定論的にモデル化された化学反応ネットワークの利用について述べる。 ニューラルネットワークのある種の反応ネットワーク実装に付随する常微分方程式(ODE)が望ましい性質を持つことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper is concerned with the utilization of deterministically modeled chemical reaction networks for the implementation of (feed-forward) neural networks. We develop a general mathematical framework and prove that the ordinary differential equations (ODEs) associated with certain reaction network implementations of neural networks have desirable properties including (i) existence of unique positive fixed points that are smooth in the parameters of the model (necessary for gradient descent), and (ii) fast convergence to the fixed point regardless of initial condition (necessary for efficient implementation). We do so by first making a connection between neural networks and fixed points for systems of ODEs, and then by constructing reaction networks with the correct associated set of ODEs. We demonstrate the theory by constructing a reaction network that implements a neural network with a smoothed ReLU activation function, though we also demonstrate how to generalize the construction to allow for other activation functions (each with the desirable properties listed previously). As there are multiple types of "networks" utilized in this paper, we also give a careful introduction to both reaction networks and neural networks, in order to disambiguate the overlapping vocabulary in the two settings and to clearly highlight the role of each network's properties.
• Abstract（参考訳）: 本稿では,(フィードフォワード)ニューラルネットワークの実装に決定論的にモデル化された化学反応ネットワークの利用について述べる。 我々は,一般数学的枠組みを開発し,ニューラルネットワークの反応ネットワーク実装に付随する常微分方程式 (odes) が望ましい性質を持つことを証明した。 (i)モデルのパラメータ(勾配降下に必要な)で滑らかな一意な正の不動点の存在、及び (ii)初期条件にかかわらず(効率的な実装に必要な)固定点への高速収束。 私たちはまず、odeのシステムのためにニューラルネットワークと固定点を接続し、その後、適切な関連するodeのセットで反応ネットワークを構築します。 本稿では,ReLU活性化関数をスムーズ化したニューラルネットワークを実装した反応ネットワークを構築することにより,その理論を実証する一方で,他の活性化関数を許容する構成を一般化する方法を実証する。 本論文では,複数種類の"ネットワーク"が使用されているため,重なり合う語彙を2つの設定で曖昧にするために,反応ネットワークとニューラルネットワークの両方に注意を払って導入し,各ネットワークの役割を明確に強調する。

関連論文リスト

• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Towards Understanding Theoretical Advantages of Complex-Reaction Networks [77.34726150561087]
  パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。 経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
  論文  参考訳（メタデータ） (2021-08-15T10:13:49Z)
• Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions [4.932130498861987]
  我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。 適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
  論文  参考訳（メタデータ） (2021-05-20T04:54:57Z)
• Translating Numerical Concepts for PDEs into Neural Architectures [9.460896836770534]
  数値アルゴリズムをニューラルネットワークに翻訳することで何が学べるかを検討する。 数値的には、1次元の一般的な高次非線形拡散方程式に対する明示的、加速的、暗黙的スキームを考える。 ニューラルネットワーク側では、残存ネットワーク(ResNets)、リカレントネットワーク、Uネットの観点で対応する概念を特定します。
  論文  参考訳（メタデータ） (2021-03-29T08:31:51Z)
• Analytical aspects of non-differentiable neural networks [0.0]
  本稿では、量子化されたニューラルネットワークの表現性と、微分不可能なネットワークに対する近似手法について論じる。 ここでは,QNN が DNN と同じ表現性を持つことを示す。 また,Heaviside型アクティベーション関数を用いて定義されたネットワークについても検討し,スムーズなネットワークによるポイントワイズ近似の結果を証明した。
  論文  参考訳（メタデータ） (2020-11-03T17:20:43Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。