論文の概要: Learning Structures for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2105.13905v1
- Date: Thu, 27 May 2021 12:27:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-01 02:52:23.679690
- Title: Learning Structures for Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークのための学習構造
- Authors: Jinhui Yuan and Fei Pan and Chunting Zhou and Tao Qin and Tie-Yan Liu
- Abstract要約: 我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
- 参考スコア（独自算出の注目度）: 99.8331363309895
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we focus on the unsupervised setting for structure learning of
deep neural networks and propose to adopt the efficient coding principle,
rooted in information theory and developed in computational neuroscience, to
guide the procedure of structure learning without label information. This
principle suggests that a good network structure should maximize the mutual
information between inputs and outputs, or equivalently maximize the entropy of
outputs under mild assumptions. We further establish connections between this
principle and the theory of Bayesian optimal classification, and empirically
verify that larger entropy of the outputs of a deep neural network indeed
corresponds to a better classification accuracy. Then as an implementation of
the principle, we show that sparse coding can effectively maximize the entropy
of the output signals, and accordingly design an algorithm based on global
group sparse coding to automatically learn the inter-layer connection and
determine the depth of a neural network. Our experiments on a public image
classification dataset demonstrate that using the structure learned from
scratch by our proposed algorithm, one can achieve a classification accuracy
comparable to the best expert-designed structure (i.e., convolutional neural
networks (CNN)). In addition, our proposed algorithm successfully discovers the
local connectivity (corresponding to local receptive fields in CNN) and
invariance structure (corresponding to pulling in CNN), as well as achieves a
good tradeoff between marginal performance gain and network depth.
- Abstract（参考訳）: 本稿では,深層ニューラルネットワークの構造学習の教師なし設定に着目し,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用し,ラベル情報なしで構造学習の手順を導くことを提案する。
この原理は、良いネットワーク構造は入力と出力の間の相互情報を最大化するか、あるいは穏やかな仮定の下で出力のエントロピーを同等に最大化するべきであることを示唆している。
この原理とベイズ最適分類理論との関係をさらに確立し、ディープニューラルネットワークの出力のより大きなエントロピーが、より優れた分類精度に対応することを実証的に検証する。
そして、この原理の実装として、スパース符号化が出力信号のエントロピーを効果的に最大化できることを示すとともに、大域群スパース符号化に基づくアルゴリズムを設計し、層間接続を自動的に学習し、ニューラルネットワークの深さを決定する。
公開画像分類データセットを用いた実験により,提案アルゴリズムによりスクラッチから学習した構造を用いて,最適なエキスパート設計構造(畳み込みニューラルネットワーク(cnn))に匹敵する分類精度が得られることを示した。
さらに,提案アルゴリズムは局所的な接続性(CNNの局所受容場に対応する)と非分散構造(CNNの引き込みに対応する)の発見に成功し,限界性能ゲインとネットワーク深度との良好なトレードオフを実現する。
関連論文リスト
- Statistical Physics of Deep Neural Networks: Initialization toward
Optimal Channels [6.144858413112823]
ディープラーニングでは、ニューラルネットワークは入力データとその表現の間のノイズの多いチャネルとして機能する。
ニューラルネットワークが最適なチャネルに内在する可能性について,よく見過ごされる可能性について検討する。
論文 参考訳（メタデータ） (2022-12-04T05:13:01Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - The Principles of Deep Learning Theory [19.33681537640272]
この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。
これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。
トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
論文 参考訳（メタデータ） (2021-06-18T15:00:00Z) - Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。
学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。
さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文 参考訳（メタデータ） (2021-06-15T05:30:17Z) - Generalized Approach to Matched Filtering using Neural Networks [4.535489275919893]
我々は,新たな深層学習と従来の技術との関係について重要な観察を行う。
一致するフィルタリングは、特定のニューラルネットワークと正式に等価です。
提案するニューラルネットワークアーキテクチャがマッチングフィルタリングよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-04-08T17:59:07Z) - Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。
従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文 参考訳（メタデータ） (2021-03-09T14:51:34Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。