Fugu-MT 論文翻訳(概要): Learning unfolded networks with a cyclic group structure

論文の概要: Learning unfolded networks with a cyclic group structure

arxiv url: http://arxiv.org/abs/2211.09238v1
Date: Wed, 16 Nov 2022 22:03:46 GMT
ステータス: 処理完了
システム内更新日: 2022-11-18 16:46:32.291084
Title: Learning unfolded networks with a cyclic group structure
Title（参考訳）: 巡回群構造を持つ展開型ネットワークの学習
Authors: Emmanouil Theodosis and Demba Ba
Abstract要約: 等変ニューラルネットワークの最近の進歩に基づき,ドメイン知識を明示的に符号化するネットワークを提案する。スパースアクティベーションを有する解釈可能なネットワークを提案する。等変アンフォールドネットワークは、そのパラメータのごく一部しか持たないベースラインと良好に競合する。
参考スコア（独自算出の注目度）: 5.735084437664414
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep neural networks lack straightforward ways to incorporate domain knowledge and are notoriously considered black boxes. Prior works attempted to inject domain knowledge into architectures implicitly through data augmentation. Building on recent advances on equivariant neural networks, we propose networks that explicitly encode domain knowledge, specifically equivariance with respect to rotations. By using unfolded architectures, a rich framework that originated from sparse coding and has theoretical guarantees, we present interpretable networks with sparse activations. The equivariant unfolded networks compete favorably with baselines, with only a fraction of their parameters, as showcased on (rotated) MNIST and CIFAR-10.
Abstract（参考訳）: 深層ニューラルネットワークには、ドメイン知識を組み込む簡単な方法がなく、ブラックボックスと見なされている。以前の作業では、データ拡張を通じて暗黙的にアーキテクチャにドメイン知識を注入しようとした。等変ニューラルネットワークの最近の進歩に基づき、ドメイン知識を明示的に符号化するネットワーク、特に回転に関して等価なネットワークを提案する。分散コーディングを起源とし,理論的保証を有するリッチなフレームワークであるunfolded architecturesを使用することで,スパースアクティベーションを持つ解釈可能なネットワークを提案する。等変アンフォールドネットワークは、(回転した)MNISTやCIFAR-10で示されるように、そのパラメータのごく一部で、ベースラインと良好に競合する。

関連論文リスト

Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。ネットワークが強力なデータ依存機能を取得することを示す。驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文参考訳（メタデータ） (2024-06-24T14:50:05Z)
Local Kernel Renormalization as a mechanism for feature learning in overparametrized Convolutional Neural Networks [0.0]
実験的な証拠は、無限幅限界における完全連結ニューラルネットワークが最終的に有限幅限界よりも優れていることを示している。畳み込み層を持つ最先端アーキテクチャは、有限幅構造において最適な性能を達成する。有限幅FCネットワークの一般化性能は,ガウス事前選択に適した無限幅ネットワークで得られることを示す。
論文参考訳（メタデータ） (2023-07-21T17:22:04Z)
Dynamical systems' based neural networks [0.7874708385247353]
我々は、適切な、構造保存、数値的な時間分散を用いてニューラルネットワークを構築する。ニューラルネットワークの構造は、ODEベクトル場の特性から推定される。 2つの普遍近似結果を示し、ニューラルネットワークに特定の特性を課す方法を示す。
論文参考訳（メタデータ） (2022-10-05T16:30:35Z)
Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。これは機械学習の幅広い領域にまたがる重要な構造条件の例である。しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文参考訳（メタデータ） (2022-06-13T12:03:32Z)
SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
論文参考訳（メタデータ） (2022-05-31T15:55:37Z)
Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文参考訳（メタデータ） (2021-05-27T12:27:24Z)
Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文参考訳（メタデータ） (2021-02-17T04:47:18Z)
Learning low-rank latent mesoscale structures in networks [1.1470070927586016]
ネットワークにおける低ランクメソスケール構造を記述するための新しい手法を提案する。いくつかの合成ネットワークモデルと経験的友情、協調、タンパク質-タンパク質相互作用(PPI)ネットワークを使用します。破損したネットワークから直接学習する潜在モチーフのみを用いて、破損したネットワークを認知する方法を示す。
論文参考訳（メタデータ） (2021-02-13T18:54:49Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Modeling Dynamic Heterogeneous Network for Link Prediction using Hierarchical Attention with Temporal RNN [16.362525151483084]
我々はDyHATRと呼ばれる新しい動的ヘテロジニアスネットワーク埋め込み法を提案する。階層的な注意を使って異質な情報を学習し、進化パターンを捉えるために時間的注意を伴う繰り返しニューラルネットワークを組み込む。リンク予測のための4つの実世界のデータセットに対して,本手法をベンチマークした。
論文参考訳（メタデータ） (2020-04-01T17:16:47Z)
A Rigorous Framework for the Mean Field Limit of Multilayer Neural Networks [9.89901717499058]
ニューラルネットワークを平均場に埋め込むための数学的に厳密なフレームワークを開発する。ネットワークの幅が大きくなるにつれて、ネットワークの学習軌道は制限によってうまく捉えられることが示される。我々は、大幅多層ネットワークのいくつかの特性を証明した。
論文参考訳（メタデータ） (2020-01-30T16:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。