論文の概要: Target Aware Network Architecture Search and Compression for Efficient Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2205.05967v1
• Date: Thu, 12 May 2022 09:11:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-13 13:41:43.195293
• Title: Target Aware Network Architecture Search and Compression for Efficient Knowledge Transfer
• Title（参考訳）: 効率的な知識伝達のためのネットワークアーキテクチャ探索と圧縮
• Authors: S.H.Shabbeer Basha, Debapriya Tula, Sravan Kumar Vinakota, Shiv Ram Dubey
• Abstract要約: Transfer Learningは、畳み込みニューラルネットワーク(CNN)がソースドメインから知識を取得し、ターゲットドメインに転送することを可能にする。 本稿では,効率的な知識伝達を可能にするTASCNetという2段階のフレームワークを提案する。 提案手法の有効性を,CalTech-101,CalTech-256,Stanford Dogsのデータセット上でVGG-16,ResNet-50,DenseNet-121を用いて評価した。
• 参考スコア（独自算出の注目度）: 10.377683220196872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer Learning enables Convolutional Neural Networks (CNN) to acquire knowledge from a source domain and transfer it to a target domain, where collecting large-scale annotated examples is both time-consuming and expensive. Conventionally, while transferring the knowledge learned from one task to another task, the deeper layers of a pre-trained CNN are finetuned over the target dataset. However, these layers that are originally designed for the source task are over-parameterized for the target task. Thus, finetuning these layers over the target dataset reduces the generalization ability of the CNN due to high network complexity. To tackle this problem, we propose a two-stage framework called TASCNet which enables efficient knowledge transfer. In the first stage, the configuration of the deeper layers is learned automatically and finetuned over the target dataset. Later, in the second stage, the redundant filters are pruned from the fine-tuned CNN to decrease the network's complexity for the target task while preserving the performance. This two-stage mechanism finds a compact version of the pre-trained CNN with optimal structure (number of filters in a convolutional layer, number of neurons in a dense layer, and so on) from the hypothesis space. The efficacy of the proposed method is evaluated using VGG-16, ResNet-50, and DenseNet-121 on CalTech-101, CalTech-256, and Stanford Dogs datasets. The proposed TASCNet reduces the computational complexity of pre-trained CNNs over the target task by reducing both trainable parameters and FLOPs which enables resource-efficient knowledge transfer.
• Abstract（参考訳）: Transfer Learningは、畳み込みニューラルネットワーク(CNN)がソースドメインから知識を取得し、ターゲットドメインに転送することを可能にする。 従来、あるタスクから学んだ知識を別のタスクに転送する際、トレーニング済みのCNNの深い層はターゲットデータセット上で微調整される。 しかし、もともとソースタスク用に設計されたこれらのレイヤは、ターゲットタスクのために過剰にパラメータ化されます。 したがって、これらの層をターゲットデータセット上で微調整することで、ネットワークの複雑さが高いため、CNNの一般化能力が低下する。 そこで本研究では,効率的な知識伝達を実現する2段階フレームワーク tascnet を提案する。 最初の段階では、より深いレイヤの設定が自動的に学習され、ターゲットデータセット上で微調整される。 その後、第2段階では、冗長フィルタを微調整CNNから切断し、性能を保ちながら、目標タスクに対するネットワークの複雑さを低減する。 この2段階のメカニズムは、仮説空間から最適な構造(畳み込み層におけるフィルタの数、密度層におけるニューロンの数など)を持つ、事前訓練されたcnnのコンパクトバージョンを見つける。 提案手法の有効性を,CalTech-101,CalTech-256,Stanford Dogsのデータセット上でVGG-16,ResNet-50,DenseNet-121を用いて評価した。 提案したTASCNetは、学習可能なパラメータと資源効率の高い知識伝達を可能にするFLOPの両方を削減し、目標タスク上の事前学習CNNの計算複雑性を低減する。

関連論文リスト

• Enhancing Small Object Encoding in Deep Neural Networks: Introducing Fast&Focused-Net with Volume-wise Dot Product Layer [0.0]
  我々は、小さなオブジェクトを固定長特徴ベクトルに符号化するのに適した、新しいディープニューラルネットワークアーキテクチャであるFast&Focused-Netを紹介する。 Fast&Focused-Netは、CNNのいくつかの固有の制限に対処するために設計された、新たに提案された一連のレイヤであるVDP(Volume-wise Dot Product)レイヤを採用しています。 CIFAR-10, CIFAR-100, STL-10, SVHN-Cropped, Fashion-MNISTなどのデータセットでは, オブジェクト分類タスクにおいて, ネットワークが最先端の手法よりも優れていた。 画像分類における変換器エンコーダ(ViT)と組み合わせた場合
  論文  参考訳（メタデータ） (2024-01-18T09:31:25Z)
• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
  トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。 最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。 このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T17:32:11Z)
• Speeding Up EfficientNet: Selecting Update Blocks of Convolutional Neural Networks using Genetic Algorithm in Transfer Learning [0.0]
  パラメータを更新するための階層のブロックを選択する遺伝的アルゴリズムを考案する。 提案アルゴリズムは, 精度の点で, ベースラインと同等あるいは良質な結果が得られることを示す。 また、各ブロックの有効性を更新ブロックとして測定するブロック重要度と呼ばれる指標も考案した。
  論文  参考訳（メタデータ） (2023-03-01T06:35:29Z)
• SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
  スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。 近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。 本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。 本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:55:37Z)
• An Experimental Study of the Impact of Pre-training on the Pruning of a Convolutional Neural Network [0.0]
  近年、ディープニューラルネットワークは様々なアプリケーション領域で広く成功している。 ディープニューラルネットワークは通常、ネットワークの重みに対応する多数のパラメータを含む。 プルーニング法は特に、無関係な重みを識別して取り除くことにより、パラメータセットのサイズを減らそうとしている。
  論文  参考訳（メタデータ） (2021-12-15T16:02:15Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)
• AutoTune: Automatically Tuning Convolutional Neural Networks for Improved Transfer Learning [13.909484906513102]
  変換学習を改善するために,畳み込みニューラルネットワーク(CNN)を自動チューニングする機構を導入する。 トレーニング済みのCNNレイヤは、ベイズ最適化を用いて、ターゲットデータからの知識に調整される。 実験は、CalTech-101、CalTech-256、Stanford Dogsの3つのベンチマークデータセットで実施されている。
  論文  参考訳（メタデータ） (2020-04-25T10:42:06Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。