論文の概要: Pruning Convolutional Neural Networks with Self-Supervision

• arxiv url: http://arxiv.org/abs/2001.03554v1
• Date: Fri, 10 Jan 2020 16:44:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 22:38:22.164129
• Title: Pruning Convolutional Neural Networks with Self-Supervision
• Title（参考訳）: 自己スーパービジョンを用いた畳み込みニューラルネットワーク
• Authors: Mathilde Caron, Ari Morcos, Piotr Bojanowski, Julien Mairal and Armand Joulin
• Abstract要約: ラベルのない学習ネットワークにおいて,主に教師あり学習のために開発された標準的なプルーニング手法について検討する。 ラベルで再トレーニングした際,ラベルの有無に関わらず得られたプルーニングマスクは同等の性能を示した。 興味深いことに、プルーニングは自己教師付きサブネットワーク表現の転送性能を保っている。
• 参考スコア（独自算出の注目度）: 45.450089182626044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks trained without supervision come close to matching performance with supervised pre-training, but sometimes at the cost of an even higher number of parameters. Extracting subnetworks from these large unsupervised convnets with preserved performance is of particular interest to make them less computationally intensive. Typical pruning methods operate during training on a task while trying to maintain the performance of the pruned network on the same task. However, in self-supervised feature learning, the training objective is agnostic on the representation transferability to downstream tasks. Thus, preserving performance for this objective does not ensure that the pruned subnetwork remains effective for solving downstream tasks. In this work, we investigate the use of standard pruning methods, developed primarily for supervised learning, for networks trained without labels (i.e. on self-supervised tasks). We show that pruned masks obtained with or without labels reach comparable performance when re-trained on labels, suggesting that pruning operates similarly for self-supervised and supervised learning. Interestingly, we also find that pruning preserves the transfer performance of self-supervised subnetwork representations.
• Abstract（参考訳）: 教師なしのトレーニングを受けた畳み込みニューラルネットワークは、教師付き事前トレーニングのパフォーマンスに近くなるが、時にはさらに多くのパラメータが犠牲になる。 これらの大規模非教師付きコンネットからサブネットを抽出し、保存性能を低下させることが特に関心がある。 典型的なpruningメソッドは、同じタスクでprunedネットワークのパフォーマンスを維持しながら、タスクのトレーニング中に動作します。 しかし, 自己指導型特徴学習では, 下流タスクへの表現伝達性には依存しない。 したがって、この目的のために性能を維持することは、プルンされたサブネットワークが下流タスクの解決に効果的であることを保証するものではない。 本研究では,ラベルのないネットワーク(すなわち自己教師付きタスク)に対して,教師付き学習を主目的に開発された標準的な刈り取り手法について検討する。 ラベルの再学習において,ラベルの有無に関わらず得られたプルーニングマスクは同等の性能を示した。 興味深いことに、プルーニングは自己教師付きサブネットワーク表現の転送性能を保っている。

関連論文リスト

• Unsupervised Dense Nuclei Detection and Segmentation with Prior Self-activation Map For Histology Images [5.3882963853819845]
  事前自己アクティベーションモジュール(PSM)を用いた自己教師型学習手法を提案する。 PSMは入力画像から自己活性化マップを生成し、ラベル付けコストを回避し、下流タスク用の擬似マスクを生成する。 他の完全教師付き・弱教師付き手法と比較して,本手法は手動アノテーションを使わずに競争性能を達成できる。
  論文  参考訳（メタデータ） (2022-10-14T14:34:26Z)
• Dynamic Channel Selection in Self-Supervised Learning [14.47016190403488]
  本研究では,教師付き学習のための標準チャネル選択手法を,自己監督型学習ネットワークに適用する方法について検討する。 本研究は,様々なデータセットを対象とした画像分類タスクにおけるチャネル計算のために,目標予算の$t_d$に対して検証を行った。
  論文  参考訳（メタデータ） (2022-07-25T11:18:48Z)
• Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask Training [55.43088293183165]
  近年の研究では、BERTのような事前学習言語モデル(PLM)には、元のPLMと同じような変換学習性能を持つマッチングワークが含まれていることが示されている。 本稿では, BERTworksがこれらの研究で示された以上の可能性を秘めていることを示す。 我々は、サブネットワークの普遍的な転送可能性を維持することを目的として、事前学習タスクのモデル重みよりも二項マスクを訓練する。
  論文  参考訳（メタデータ） (2022-04-24T08:42:47Z)
• How does unlabeled data improve generalization in self-training? A one-hidden-layer theoretical analysis [93.37576644429578]
  この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。 トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。 また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
  論文  参考訳（メタデータ） (2022-01-21T02:16:52Z)
• Self-Supervised Learning for Binary Networks by Joint Classifier Training [11.612308609123566]
  本稿では,バイナリネットワークのための自己教師付き学習手法を提案する。 バイナリネットワークのより良いトレーニングのために,特徴類似性損失,損失項の動的バランススキーム,マルチステージトレーニングの修正を提案する。 実証実験により、BSSLは、下流タスクにおけるバイナリネットワークの自己教師付き学習ベースラインよりも優れ、特定のタスクにおける教師付き事前学習よりも優れています。
  論文  参考訳（メタデータ） (2021-10-17T15:38:39Z)
• Self-supervised driven consistency training for annotation efficient histopathology image analysis [13.005873872821066]
  大きなラベル付きデータセットでニューラルネットワークをトレーニングすることは、計算病理学において依然として支配的なパラダイムである。 本研究では,非教師付き表現学習のための強力な監視信号を学ぶために,ヒストロジ全体スライディング画像の背景となる多段階的文脈的手がかりを利用する自己教師付きプレテキストタスクを提案する。 また,タスク固有の未ラベルデータとの予測整合性に基づいて,事前学習した表現を下流タスクに効果的に転送することを学ぶ教師による半教師付き一貫性パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T19:46:21Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• Self-Supervised Few-Shot Learning on Point Clouds [18.528929583956725]
  近年、ラベル付きポイントクラウド上で動作するディープニューラルネットワークは、分類やセグメンテーションといった教師付き学習タスクにおいて有望な結果を示している。 点雲の階層的分割を符号化する2つの新しい自己教師型事前学習タスクを提案する。 本研究では,自己教師付き学習法で事前学習した教師あり学習法が,最先端の手法の精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-09-29T17:32:44Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
  我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。 我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2020-03-31T16:03:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。