論文の概要: A Novel Convolutional Neural Network Architecture with a Continuous
Symmetry
- arxiv url: http://arxiv.org/abs/2308.01621v2
- Date: Wed, 9 Aug 2023 08:42:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 16:50:46.521072
- Title: A Novel Convolutional Neural Network Architecture with a Continuous
Symmetry
- Title(参考訳): 連続対称性を持つ新しい畳み込みニューラルネットワークアーキテクチャ
- Authors: Yao Liu, Hang Shao, Bing Bai
- Abstract要約: 本稿では、偏微分方程式(PDE)のクラスに着想を得た新しい畳み込みニューラルネットワーク(ConvNet)アーキテクチャを提案する。
画像分類タスクで同等の性能を持つので、連続した対称性の群を通して重みを修正できる。
- 参考スコア(独自算出の注目度): 14.61977246356224
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper introduces a new Convolutional Neural Network (ConvNet)
architecture inspired by a class of partial differential equations (PDEs)
called quasi-linear hyperbolic systems. With comparable performance on the
image classification task, it allows for the modification of the weights via a
continuous group of symmetry. This is a significant shift from traditional
models where the architecture and weights are essentially fixed. We wish to
promote the (internal) symmetry as a new desirable property for a neural
network, and to draw attention to the PDE perspective in analyzing and
interpreting ConvNets in the broader Deep Learning community.
- Abstract(参考訳): 本稿では,準線形双曲型システムと呼ばれる偏微分方程式(pdes)のクラスに触発された新しい畳み込みニューラルネットワーク(convnet)アーキテクチャを提案する。
画像分類タスクで同等の性能を持つので、連続した対称性の群を通して重みを修正できる。
これは、アーキテクチャと重みが本質的に固定された従来のモデルから大きく変わります。
我々は、ニューラルネットワークの新たな望ましい特性として(内部)対称性を推進し、より広範なDeep LearningコミュニティにおけるConvNetの分析と解釈におけるPDE視点に注意を向けたい。
関連論文リスト
- Towards Explaining Hypercomplex Neural Networks [6.543091030789653]
ハイパーコンプレックスニューラルネットワークは、ディープラーニングコミュニティへの関心が高まっている。
本稿では,本質的に解釈可能なPHNNと4元ネットワークを提案する。
我々は、このユニークなニューラルネットワークのブランチがどのように機能するかを洞察する。
論文 参考訳(メタデータ) (2024-03-26T17:58:07Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-03-18T18:01:01Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-02-11T21:07:30Z) - Quiver neural networks [5.076419064097734]
ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。
数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
論文 参考訳(メタデータ) (2022-07-26T09:42:45Z) - Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。
本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。
この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
論文 参考訳(メタデータ) (2021-06-28T00:14:11Z) - A unified framework for Hamiltonian deep neural networks [3.0934684265555052]
ディープニューラルネットワーク(DNN)のトレーニングは、重み付け最適化中に勾配を消耗させるため、難しい場合がある。
ハミルトン系の時間離散化から派生したDNNのクラスを提案する。
提案されたハミルトンのフレームワークは、限界的に安定なODEにインスパイアされた既存のネットワークを包含する以外に、新しいより表現力のあるアーキテクチャを導出することができる。
論文 参考訳(メタデータ) (2021-04-27T13:20:24Z) - SPINN: Sparse, Physics-based, and Interpretable Neural Networks for PDEs [0.0]
Sparse, Physics-based, and Interpretable Neural Networks (SPINN) のクラスを導入し,一般微分方程式と部分微分方程式を解く。
従来のPDEのソリューションのメッシュレス表現を特別なスパースディープニューラルネットワークとして再解釈することにより、解釈可能なスパースニューラルネットワークアーキテクチャのクラスを開発する。
論文 参考訳(メタデータ) (2021-02-25T17:45:50Z) - Geometry Perspective Of Estimating Learning Capability Of Neural
Networks [0.0]
本稿では,勾配勾配勾配を用いた最小二乗回帰(SGD)を一般化したニューラルネットワークの幅広いクラスについて考察する。
一般化能力とニューラルネットワークの安定性との関係についても論じている。
ニューラルネットワークの学習理論と高エネルギー物理の原理を関連付けることにより,人工ニューラルネットワークの観点からの複雑性・摩擦予想の変種を確立する。
論文 参考訳(メタデータ) (2020-11-03T12:03:19Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳(メタデータ) (2020-10-02T16:50:26Z) - Continuous-in-Depth Neural Networks [107.47887213490134]
まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。
次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。
ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
論文 参考訳(メタデータ) (2020-08-05T22:54:09Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳(メタデータ) (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。