論文の概要: Sifting out the features by pruning: Are convolutional networks the winning lottery ticket of fully connected ones?

• arxiv url: http://arxiv.org/abs/2104.13343v1
• Date: Tue, 27 Apr 2021 17:25:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-28 15:35:39.077493
• Title: Sifting out the features by pruning: Are convolutional networks the winning lottery ticket of fully connected ones?
• Title（参考訳）: コンボリューション・ネットワークは完全接続の宝くじに勝っているのか?
• Authors: Franco Pellegrini, Giulio Biroli
• Abstract要約: このような「当選宝くじ」に印字を刻む帰納バイアスについて検討する。 残余ノード接続は入力空間において局所的であり、畳み込みネットワーク(CNN)に類似したパターンで構成されていることを示す。
• 参考スコア（独自算出の注目度）: 16.5745082442791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pruning methods can considerably reduce the size of artificial neural networks without harming their performance. In some cases, they can even uncover sub-networks that, when trained in isolation, match or surpass the test accuracy of their dense counterparts. Here we study the inductive bias that pruning imprints in such "winning lottery tickets". Focusing on visual tasks, we analyze the architecture resulting from iterative magnitude pruning of a simple fully connected network (FCN). We show that the surviving node connectivity is local in input space, and organized in patterns reminiscent of the ones found in convolutional networks (CNN). We investigate the role played by data and tasks in shaping the pruned sub-networks. Our results show that the winning lottery tickets of FCNs display the key features of CNNs. The ability of such automatic network-simplifying procedure to recover the key features "hand-crafted" in the design of CNNs suggests interesting applications to other datasets and tasks, in order to discover new and efficient architectural inductive biases.
• Abstract（参考訳）: プルーニング手法は、性能を損なうことなく、ニューラルネットワークのサイズを大幅に削減することができる。 場合によっては、隔離訓練されたサブネットワークが、密集したネットワークのテスト精度と一致したり、超えたりすることができる。 本稿では,このような宝くじに印字される帰納バイアスについて考察する。 視覚的タスクに着目し,単純な完全連結ネットワーク(FCN)の反復的等級プルーニングによるアーキテクチャ解析を行う。 残余ノード接続は入力空間において局所的であり、畳み込みネットワーク(CNN)に類似したパターンで構成されていることを示す。 刈り取られたサブネットワークを形成する上でのデータやタスクが果たす役割について検討する。 その結果,fcnsの当選抽選券にはcnnの重要な特徴が示されている。 cnnの設計において重要な機能を"手作り"に復元する、このようなネットワーク単純化手法は、新しい効率的なアーキテクチャインダクティブバイアスを発見するために、他のデータセットやタスクに興味深い応用を示唆している。

関連論文リスト

• Investigating Sparsity in Recurrent Neural Networks [0.0]
  本論文は, プルーニングとスパースリカレントニューラルネットワークがRNNの性能に与える影響を考察することに焦点を当てる。 まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。 次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。
  論文  参考訳（メタデータ） (2024-07-30T07:24:58Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets [105.24703398193843]
  グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。 得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。 また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
  論文  参考訳（メタデータ） (2022-11-28T14:17:36Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• The Lottery Ticket Hypothesis for Self-attention in Convolutional Neural Network [69.54809052377189]
  近年, 深部畳み込みニューラルネットワーク(CNN)の内部情報を活用することにより, モデル一般化の促進を図るために, SAM (Plug-and-play Self-attention Module) が多数提案されている。 a) SAMをすべてのブロックに接続することは、必ずしも最大のパフォーマンス向上をもたらすとは限らないし、部分ブロックに接続する方が、さらによい。 (b) CNNにSAMを追加することは、必ずしもパフォーマンス向上をもたらすものではなく、代わりに元のCNNバックボーンのパフォーマンスに害を与えるかもしれない。
  論文  参考訳（メタデータ） (2022-07-16T07:08:59Z)
• SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
  スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。 近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。 本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。 本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:55:37Z)
• Entangled q-Convolutional Neural Nets [0.0]
  機械学習モデル、q-CNNモデルを導入し、畳み込みニューラルネットワークと主要な機能を共有し、テンソルネットワーク記述を認めます。 例として、MNISTおよびFashion MNIST分類タスクにq-CNNを適用する。 ネットワークが各分類ラベルに量子状態をどのように関連付けるかを説明し、これらのネットワーク状態の絡み合い構造を研究する。
  論文  参考訳（メタデータ） (2021-03-06T02:35:52Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)
• Internal representation dynamics and geometry in recurrent neural networks [10.016265742591674]
  本稿では,バニラRNNがネットワークのダイナミクスを解析することにより,単純な分類タスクを実現する方法を示す。 初期の内部表現はデータの実際のラベルから解放されるが、この情報は出力層に直接アクセスできない。
  論文  参考訳（メタデータ） (2020-01-09T23:19:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。