Fugu-MT 論文翻訳(概要): Role Taxonomy of Units in Deep Neural Networks

論文の概要: Role Taxonomy of Units in Deep Neural Networks

arxiv url: http://arxiv.org/abs/2011.00789v2
Date: Mon, 20 Nov 2023 08:48:07 GMT
ステータス: 処理完了
システム内更新日: 2023-11-22 21:36:43.816614
Title: Role Taxonomy of Units in Deep Neural Networks
Title（参考訳）: ディープニューラルネットワークにおけるユニットの役割分類
Authors: Yang Zhao, Hao Zhang and Xiuyuan Hu
Abstract要約: ディープニューラルネットワーク(DNN)におけるネットワークユニットの役割を,検索・オブ・ファンクションテストを通じて同定する。これら4つのカテゴリーの比率は、2つの異なる視点からDNNの一般化能力と強く関連していることを示す。
参考スコア（独自算出の注目度）: 15.067182415076148
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Identifying the role of network units in deep neural networks (DNNs) is critical in many aspects including giving understandings on the mechanisms of DNNs and building basic connections between deep learning and neuroscience. However, there remains unclear on which roles the units in DNNs with different generalization ability could present. To this end, we give role taxonomy of units in DNNs via introducing the retrieval-of-function test, where units are categorized into four types in terms of their functional preference on separately the training set and testing set. We show that ratios of the four categories are highly associated with the generalization ability of DNNs from two distinct perspectives, based on which we give signs of DNNs with well generalization.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)におけるネットワークユニットの役割を特定することは、DNNのメカニズムの理解や、ディープラーニングと神経科学の基本的なつながりの構築など、多くの面で重要である。しかし、一般化能力の異なるDNNのユニットがどのような役割を果たせるかは不明である。この目的のために,DNNにおけるユニットの役割分類を,トレーニングセットとテストセットを別々に選択した上で,ユニットを4つのタイプに分類する機能検索テストを導入することで行う。これら4つのカテゴリーの比率は、2つの異なる視点からDNNの一般化能力と強く関連していることを示し、これをよく一般化したDNNの兆候を示す。

関連論文リスト

Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。本稿では,DNNが2段階の相互作用を学習していることを明らかにする。第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
論文参考訳（メタデータ） (2024-05-16T17:13:25Z)
Deep Neural Networks via Complex Network Theory: a Perspective [3.1023851130450684]
ディープニューラルネットワーク(DNN)は、リンクと頂点が反復的にデータを処理し、タスクを亜最適に解くグラフとして表現することができる。複雑なネットワーク理論(CNT)は、統計物理学とグラフ理論を融合させ、その重みとニューロン構造を分析してニューラルネットワークを解釈する方法を提供する。本研究では,DNNのトレーニング分布から抽出した測定値を用いて既存のCNTメトリクスを拡張し,純粋なトポロジカル解析からディープラーニングの解釈可能性へ移行する。
論文参考訳（メタデータ） (2024-04-17T08:42:42Z)
Rethinking the Relationship between Recurrent and Non-Recurrent Neural Networks: A Study in Sparsity [0.0]
我々は、リカレントニューラルネットワーク(RNN)など、多くの一般的なニューラルネットワークモデルが反復写像として表現可能であることを示す。 RNNはチューリング完全であることが知られており、計算可能な関数を表現できる。この視点は、NNの理論的側面と実践的側面の両方を照らすいくつかの洞察につながります。
論文参考訳（メタデータ） (2024-04-01T03:18:42Z)
Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
論文参考訳（メタデータ） (2023-05-02T22:15:54Z)
Tensor Networks Meet Neural Networks: A Survey and Future Perspectives [27.878669143107885]
テンソルニューラルネットワーク(TNN)とニューラルネットワーク(NN)は2つの基本的なデータモデリングアプローチである。 TNは指数的な数の次元を複雑さに変換することによって、大規模テンソルの次元性の呪いを解決する。 NNは、コンピュータビジョン、自然言語処理、ロボット工学の研究など、様々な応用において優れたパフォーマンスを示している。
論文参考訳（メタデータ） (2023-01-22T17:35:56Z)
Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文参考訳（メタデータ） (2022-12-18T08:17:32Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
Deep Neural Networks as Complex Networks [1.704936863091649]
我々は、重み付きグラフとしてディープニューラルネットワーク(DNN)を表現するために複雑ネットワーク理論を用いる。我々は、DNNを動的システムとして研究するためのメトリクスを導入し、その粒度は、重みから神経細胞を含む層まで様々である。我々の測定値が低性能ネットワークと高パフォーマンスネットワークを区別していることが示される。
論文参考訳（メタデータ） (2022-09-12T16:26:04Z)
On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文参考訳（メタデータ） (2022-04-22T15:56:43Z)
Confidence Dimension for Deep Learning based on Hoeffding Inequality and Relative Evaluation [44.393256948610016]
我々は,新しい信頼度次元(CD)の概念に基づいて,ディープニューラルネットワーク(DNN)の相対的一般化を測定し,ランク付けするために,複数の因子を用いることを提案する。我々のCDは、全タスクにおいて完全精度のDNNとバイナリニューラルネットワーク(BNN)の両方に対して、一貫した信頼性のある測定値とランキングを得る。
論文参考訳（メタデータ） (2022-03-17T04:43:43Z)
Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文参考訳（メタデータ） (2020-08-21T19:03:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。