論文の概要: How Well Do Sparse Imagenet Models Transfer?

• arxiv url: http://arxiv.org/abs/2111.13445v1
• Date: Fri, 26 Nov 2021 11:58:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 15:37:09.257407
• Title: How Well Do Sparse Imagenet Models Transfer?
• Title（参考訳）: スパースイメージネットモデルはどの程度転送できますか?
• Authors: Eugenia Iofinova and Alexandra Peste and Mark Kurtz and Dan Alistarh
• Abstract要約: 転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
• 参考スコア（独自算出の注目度）: 75.98123173154605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning is a classic paradigm by which models pretrained on large "upstream" datasets are adapted to yield good results on "downstream," specialized datasets. Generally, it is understood that more accurate models on the "upstream" dataset will provide better transfer accuracy "downstream". In this work, we perform an in-depth investigation of this phenomenon in the context of convolutional neural networks (CNNs) trained on the ImageNet dataset, which have been pruned - that is, compressed by sparsifiying their connections. Specifically, we consider transfer using unstructured pruned models obtained by applying several state-of-the-art pruning methods, including magnitude-based, second-order, re-growth and regularization approaches, in the context of twelve standard transfer tasks. In a nutshell, our study shows that sparse models can match or even outperform the transfer performance of dense models, even at high sparsities, and, while doing so, can lead to significant inference and even training speedups. At the same time, we observe and analyze significant differences in the behaviour of different pruning methods.
• Abstract（参考訳）: 転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"専門のデータセットで良い結果を得るために適応される古典的なパラダイムである。 一般的には、"アップストリーム"データセットのより正確なモデルにより、"ダウンストリーム"の転送精度が向上することが理解されている。 本研究では,imagenetデータセット上でトレーニングされた畳み込みニューラルネットワーク(cnns)の文脈において,この現象を詳細に検討する。 具体的には、12の標準転送タスクのコンテキストにおいて、等級ベース、二階目、再成長、正規化を含むいくつかの最先端プルーニング手法を適用した非構造化プルーニングモデルを用いた転送を検討する。 簡単に言えば、スパースモデルが高密度モデルであっても、高密度モデルの転送性能にマッチしたり、性能を上回ったり、その一方で、かなりの推論やトレーニングのスピードアップにつながることを示しています。 同時に,異なる刈り出し方法の挙動の顕著な差異を観察し,解析する。

関連論文リスト

• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Semantic-Fused Multi-Granularity Cross-City Traffic Prediction [17.020546413647708]
  本研究では,異なる粒度で融合した意味を持つ都市間における知識伝達を実現するためのセマンティック・フューズド・マルチグラニュラリティ・トランスファー・ラーニング・モデルを提案する。 本稿では,静的な空間依存を保ちながら,様々な意味を融合する意味融合モジュールを設計する。 STLモデルの有効性を検証するため、6つの実世界のデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-02-23T04:26:34Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• Do Adversarially Robust ImageNet Models Transfer Better? [102.09335596483695]
  逆向きに堅牢なモデルは、トランスファーラーニングに使用する場合、標準訓練されたモデルよりもよく機能する。 私たちの結果は、ロバストさが機能表現の改善につながるという最近の仮説と一致しています。
  論文  参考訳（メタデータ） (2020-07-16T17:42:40Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)
• Conditional Mutual information-based Contrastive Loss for Financial Time Series Forecasting [12.0855096102517]
  金融時系列予測のための表現学習フレームワークを提案する。 本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-02-18T15:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。