論文の概要: Quiver neural networks

• arxiv url: http://arxiv.org/abs/2207.12773v1
• Date: Tue, 26 Jul 2022 09:42:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-27 13:31:18.027161
• Title: Quiver neural networks
• Title（参考訳）: quiverニューラルネットワーク
• Authors: Iordan Ganev, Robin Walters
• Abstract要約: ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。 数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
• 参考スコア（独自算出の注目度）: 5.076419064097734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a uniform theoretical approach towards the analysis of various neural network connectivity architectures by introducing the notion of a quiver neural network. Inspired by quiver representation theory in mathematics, this approach gives a compact way to capture elaborate data flows in complex network architectures. As an application, we use parameter space symmetries to prove a lossless model compression algorithm for quiver neural networks with certain non-pointwise activations known as rescaling activations. In the case of radial rescaling activations, we prove that training the compressed model with gradient descent is equivalent to training the original model with projected gradient descent.
• Abstract（参考訳）: 本稿では,クイバーニューラルネットワークの概念を導入することで,様々なニューラルネットワーク接続アーキテクチャの解析に一様的アプローチを展開する。 数学におけるquiver表現論に着想を得て、このアプローチは複雑なネットワークアーキテクチャで精巧なデータフローを捉えるためのコンパクトな方法を与える。 応用として、パラメータ空間対称性を用いて、リスケーリングアクティベーションとして知られる特定の非ポイントアクティベーションを持つニューラルネットワークの損失のないモデル圧縮アルゴリズムを証明する。 放射状再スケーリングアクティベーションの場合、勾配降下で圧縮モデルを訓練することは、投影勾配降下で元のモデルを訓練することと同値であることが証明される。

関連論文リスト

• Convection-Diffusion Equation: A Theoretically Certified Framework for Neural Networks [14.01268607317875]
  ニューラルネットワークの偏微分方程式モデルについて検討する。 この写像は対流拡散方程式で定式化できることを示す。 拡散機構をネットワークアーキテクチャに組み込んだ新しいネットワーク構造を設計する。
  論文  参考訳（メタデータ） (2024-03-23T05:26:36Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• A Dimensionality Reduction Approach for Convolutional Neural Networks [0.0]
  本稿では,上記の次元削減手法と入出力マッピングを組み合わせることで,事前学習ネットワークの層数を削減できる汎用手法を提案する。 本実験により, 従来の畳み込みニューラルネットワークと同様の精度を達成でき, メモリ割り当てを抑えることができることがわかった。
  論文  参考訳（メタデータ） (2021-10-18T10:31:12Z)
• Connections between Numerical Algorithms for PDEs and Neural Networks [8.660429288575369]
  偏微分方程式(PDE)とニューラルネットワークの数値アルゴリズム間の多数の構造的関係について検討する。 私たちのゴールは、豊富な数学的基礎をPDEの世界からニューラルネットワークに移すことです。
  論文  参考訳（メタデータ） (2021-07-30T16:42:45Z)
• The QR decomposition for radial neural networks [0.0]
  我々は、クイバーの表現論の観点から、ニューラルネットワークの理論的枠組みを提供する。 これらの対称性の活用により、ラジアルニューラルネットワークのモデル圧縮アルゴリズムが実現される。
  論文  参考訳（メタデータ） (2021-07-06T11:41:02Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation [60.80172153614544]
  訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。 トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:57:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。