論文の概要: Quiver neural networks
- arxiv url: http://arxiv.org/abs/2207.12773v1
- Date: Tue, 26 Jul 2022 09:42:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-27 13:31:18.027161
- Title: Quiver neural networks
- Title(参考訳): quiverニューラルネットワーク
- Authors: Iordan Ganev, Robin Walters
- Abstract要約: ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。
数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
- 参考スコア(独自算出の注目度): 5.076419064097734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop a uniform theoretical approach towards the analysis of various
neural network connectivity architectures by introducing the notion of a quiver
neural network. Inspired by quiver representation theory in mathematics, this
approach gives a compact way to capture elaborate data flows in complex network
architectures. As an application, we use parameter space symmetries to prove a
lossless model compression algorithm for quiver neural networks with certain
non-pointwise activations known as rescaling activations. In the case of radial
rescaling activations, we prove that training the compressed model with
gradient descent is equivalent to training the original model with projected
gradient descent.
- Abstract(参考訳): 本稿では,クイバーニューラルネットワークの概念を導入することで,様々なニューラルネットワーク接続アーキテクチャの解析に一様的アプローチを展開する。
数学におけるquiver表現論に着想を得て、このアプローチは複雑なネットワークアーキテクチャで精巧なデータフローを捉えるためのコンパクトな方法を与える。
応用として、パラメータ空間対称性を用いて、リスケーリングアクティベーションとして知られる特定の非ポイントアクティベーションを持つニューラルネットワークの損失のないモデル圧縮アルゴリズムを証明する。
放射状再スケーリングアクティベーションの場合、勾配降下で圧縮モデルを訓練することは、投影勾配降下で元のモデルを訓練することと同値であることが証明される。
関連論文リスト
- Implicit regularization of deep residual networks towards neural ODEs [6.032210328417744]
我々は、ニューラルネットワークに対する深い残留ネットワークの暗黙的な正規化を確立する。
ネットワークがニューラルなODEの離散化であるなら、そのような離散化はトレーニングを通して維持される。
論文 参考訳(メタデータ) (2023-09-03T16:35:59Z) - Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。
本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文 参考訳(メタデータ) (2023-03-05T17:57:33Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳(メタデータ) (2022-11-26T07:41:48Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Neuron-based Pruning of Deep Neural Networks with Better Generalization
using Kronecker Factored Curvature Approximation [18.224344440110862]
提案アルゴリズムは、ヘッセンのスペクトル半径を探索することにより、圧縮されたモデルのパラメータを平らな解へ向ける。
以上の結果から, ニューロン圧縮における最先端の結果が向上することが示唆された。
この手法は、異なるニューラルネットワークモデル間で小さな精度で、非常に小さなネットワークを実現することができる。
論文 参考訳(メタデータ) (2021-11-16T15:55:59Z) - A Dimensionality Reduction Approach for Convolutional Neural Networks [0.0]
本稿では,上記の次元削減手法と入出力マッピングを組み合わせることで,事前学習ネットワークの層数を削減できる汎用手法を提案する。
本実験により, 従来の畳み込みニューラルネットワークと同様の精度を達成でき, メモリ割り当てを抑えることができることがわかった。
論文 参考訳(メタデータ) (2021-10-18T10:31:12Z) - Connections between Numerical Algorithms for PDEs and Neural Networks [8.660429288575369]
偏微分方程式(PDE)とニューラルネットワークの数値アルゴリズム間の多数の構造的関係について検討する。
私たちのゴールは、豊富な数学的基礎をPDEの世界からニューラルネットワークに移すことです。
論文 参考訳(メタデータ) (2021-07-30T16:42:45Z) - The QR decomposition for radial neural networks [0.0]
我々は、クイバーの表現論の観点から、ニューラルネットワークの理論的枠組みを提供する。
これらの対称性の活用により、ラジアルニューラルネットワークのモデル圧縮アルゴリズムが実現される。
論文 参考訳(メタデータ) (2021-07-06T11:41:02Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳(メタデータ) (2020-06-19T22:05:19Z) - Compressive sensing with un-trained neural networks: Gradient descent
finds the smoothest approximation [60.80172153614544]
訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。
トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
論文 参考訳(メタデータ) (2020-05-07T15:57:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。