論文の概要: What is an equivariant neural network?
- arxiv url: http://arxiv.org/abs/2205.07362v1
- Date: Sun, 15 May 2022 19:24:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-17 15:00:26.408272
- Title: What is an equivariant neural network?
- Title(参考訳): 等価ニューラルネットワークとは何か?
- Authors: Lek-Heng Lim and Bradley J. Nelson
- Abstract要約: コンピュータビジョンのための深層畳み込みニューラルネットワークから、タンパク質構造予測のためのAlphaFold 2まで、機械学習におけるブレークスルーの基礎となる概念である同変ニューラルネットワークについて説明する。
基本的な数学的アイデアは単純であるが、実践的な実現をもたらす工学的な複雑さによってしばしば曖昧にされる。
- 参考スコア(独自算出の注目度): 11.107386212926702
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We explain equivariant neural networks, a notion underlying breakthroughs in
machine learning from deep convolutional neural networks for computer vision to
AlphaFold 2 for protein structure prediction, without assuming knowledge of
equivariance or neural networks. The basic mathematical ideas are simple but
are often obscured by engineering complications that come with practical
realizations. We extract and focus on the mathematical aspects, and limit
ourselves to a cursory treatment of the engineering issues at the end.
- Abstract(参考訳): 本稿では,コンピュータビジョンのための深層畳み込みニューラルネットワークから,等価性やニューラルネットワークの知識を前提にせず,タンパク質構造予測のためのアルファフォールド2まで,機械学習の基礎となる概念である同変ニューラルネットワークについて述べる。
基本的な数学的アイデアは単純であるが、実践的な実現をもたらす工学的な複雑さによってしばしば曖昧にされる。
我々は、数学的な側面を抽出し、焦点を絞って、最後には工学的な問題を扱います。
関連論文リスト
- Verified Neural Compressed Sensing [58.98637799432153]
精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。
極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。
ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
論文 参考訳(メタデータ) (2024-05-07T12:20:12Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-03-18T18:01:01Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳(メタデータ) (2024-02-19T09:29:37Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Predictive Coding: Towards a Future of Deep Learning beyond
Backpropagation? [41.58529335439799]
ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。
最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。
等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
論文 参考訳(メタデータ) (2022-02-18T22:57:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。
最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文 参考訳(メタデータ) (2022-01-30T04:52:31Z) - The Physics of Machine Learning: An Intuitive Introduction for the
Physical Scientist [0.0]
この記事では、機械学習アルゴリズムに関する深い洞察を得たいと願う物理科学者を対象としている。
まず、エネルギーベースの2つの機械学習アルゴリズム、ホップフィールドネットワークとボルツマンマシンのレビューと、Isingモデルとの関係について述べる。
次に、フィードフォワードニューラルネットワーク、畳み込みニューラルネットワーク、オートエンコーダを含む、さらに"実践的"な機械学習アーキテクチャを掘り下げます。
論文 参考訳(メタデータ) (2021-11-27T15:12:42Z) - Extending Answer Set Programs with Neural Networks [2.512827436728378]
ニューラルネットワークを導入することで、応答セットプログラムをシンプルに拡張するNeurASPを提案する。
我々は、NeurASPがトレーニング済みニューラルネットワークの知覚精度を向上できるだけでなく、論理ルールによる制約を与えることで、ニューラルネットワークをより良くトレーニングできることを示した。
論文 参考訳(メタデータ) (2020-09-22T00:52:30Z) - The Representation Theory of Neural Networks [7.724617675868718]
ニューラルネットワークは、量子表現の数学的理論によって表現できることを示す。
ネットワーククイバーが共通のニューラルネットワークの概念に優しく適応していることを示します。
また、ニューラルネットワークがデータから表現を生成する方法を理解するためのクイバー表現モデルも提供します。
論文 参考訳(メタデータ) (2020-07-23T19:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。