論文の概要: Efficient Transfer Learning via Joint Adaptation of Network Architecture and Weight

• arxiv url: http://arxiv.org/abs/2105.08994v1
• Date: Wed, 19 May 2021 08:58:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-20 13:48:23.941425
• Title: Efficient Transfer Learning via Joint Adaptation of Network Architecture and Weight
• Title（参考訳）: ネットワークアーキテクチャと重みの協調適応による効率的な転送学習
• Authors: Ming Sun, Haoxuan Dou, Junjie Yan
• Abstract要約: 近年のニューラルネットワーク探索(NAS)は,十分なネットワーク探索空間を確立することで伝達学習を支援する。 本稿では,2つのモジュールからなる新しいフレームワークを提案する。アーキテクチャトランスファーのためのニューラルアーキテクチャ探索モジュールと,ウェイトトランスファーのためのニューラルウェイト探索モジュールである。 これら2つのモジュールは、減らされたスーパーネットワークに基づいてターゲットタスクを探索するので、ソースタスクのみを訓練する必要がある。
• 参考スコア（独自算出の注目度）: 66.8543732597723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning can boost the performance on the targettask by leveraging the knowledge of the source domain. Recent worksin neural architecture search (NAS), especially one-shot NAS, can aidtransfer learning by establishing sufficient network search space. How-ever, existing NAS methods tend to approximate huge search spaces byexplicitly building giant super-networks with multiple sub-paths, anddiscard super-network weights after a child structure is found. Both thecharacteristics of existing approaches causes repetitive network trainingon source tasks in transfer learning. To remedy the above issues, we re-duce the super-network size by randomly dropping connection betweennetwork blocks while embedding a larger search space. Moreover, wereuse super-network weights to avoid redundant training by proposinga novel framework consisting of two modules, the neural architecturesearch module for architecture transfer and the neural weight searchmodule for weight transfer. These two modules conduct search on thetarget task based on a reduced super-networks, so we only need to trainonce on the source task. We experiment our framework on both MS-COCO and CUB-200 for the object detection and fine-grained imageclassification tasks, and show promising improvements with onlyO(CN)super-network complexity.
• Abstract（参考訳）: 転送学習は、ソースドメインの知識を活用することで、ターゲットタスクのパフォーマンスを高めることができる。 最近のワークイン型ニューラルネットワーク探索(NAS)、特にワンショットNASは、十分なネットワーク検索空間を確立することで、学習を支援することができる。 既存のnasメソッドは、複数のサブパスを持つ巨大なスーパーネットワークを構築して巨大な検索空間を近似する傾向にあり、子構造が見つかった後にスーパーネットワークの重みを破棄する。 既存のアプローチの両方の特性は、転送学習における繰り返しネットワークトレーニングソースタスクを引き起こす。 上記の問題を補うため、より広い検索空間を埋め込んだまま、ネットワークブロック間の接続をランダムに落とし、スーパーネットワークサイズを再現する。 さらに、アーキテクチャ転送のためのneural architecturesearchモジュールと、ウェイト転送のためのneural weight searchmoduleという2つのモジュールからなる新しいフレームワークを提案することで、冗長なトレーニングを避けるためにwasuse super-network weightsを使用する。 これら2つのモジュールは、減らされたスーパーネットワークに基づいてターゲットタスクを探索するので、ソースタスクのみを訓練する必要がある。 我々は,MS-COCOとCUB-200の2つのフレームワークを用いて,オブジェクト検出およびきめ細かい画像分類タスクを実験し, onlyO(CN)super-networkの複雑さによる有望な改善を示す。

関連論文リスト

• Learning Morphisms with Gauss-Newton Approximation for Growing Networks [43.998746572276076]
  ニューラル・アーキテクチャ・サーチ(NAS)の一般的な手法は、ネットワーク・アソシエーション(英語版)と呼ばれるネットワークのアーキテクチャへの小さな局所的な変更を通じてネットワークを成長させることに基づいている。 本稿では、損失関数のガウス・ニュートン近似を用いてネットワーク成長のためのNAS法を提案し、ネットワークの候補型を効率的に学習し評価する。
  論文  参考訳（メタデータ） (2024-11-07T01:12:42Z)
• Aux-NAS: Exploiting Auxiliary Labels with Negligibly Extra Inference Cost [73.28626942658022]
  本研究の目的は,独立タスク(副次タスク)から追加の補助ラベルを活用することで,タスクのパフォーマンスを向上させることである。 本手法は,主タスクと補助タスクのための柔軟な非対称構造を持つアーキテクチャに基づく。 VGG、ResNet、ViTのバックボーンを使用して、NYU v2、CityScapes、Taskonomyデータセット上の6つのタスクで実験を行った。
  論文  参考訳（メタデータ） (2024-05-09T11:50:19Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• A Hardware-Aware System for Accelerating Deep Neural Network Optimization [7.189421078452572]
  本稿では,事前学習したスーパーネットワークからサブネットワークを自動的に,かつ効率的に検出する包括的システムを提案する。 新たな探索手法とアルゴリズムと予測器のインテリジェントな利用を組み合わせることで、最適なサブネットワークを見つけるのに必要な時間を著しく短縮する。
  論文  参考訳（メタデータ） (2022-02-25T20:07:29Z)
• Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
  この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。 我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-26T17:52:07Z)
• FNA++: Fast Network Adaptation via Parameter Remapping and Architecture Search [35.61441231491448]
  本稿では,シードネットワークのアーキテクチャとパラメータの両方を適応できるFNA++法を提案する。 実験では、FNA++をMobileNetV2に適用し、セマンティックセグメンテーション、オブジェクト検出、人間のポーズ推定のための新しいネットワークを得る。 FNA++の総計算コストは、SOTAセグメンテーションやNASアプローチよりも大幅に少ない。
  論文  参考訳（メタデータ） (2020-06-21T10:03:34Z)
• Adjoined Networks: A Training Paradigm with Applications to Network Compression [3.995047443480282]
  本稿では、元のベースネットワークとより小さな圧縮ネットワークの両方を同時にトレーニングする学習パラダイムであるAdjoined Networks(AN)を紹介する。 ベースネットワークとしてResNet-50を使用すると、画像Netデータセット上の1.8Mパラメータと1.6GFLOPで71.8%のトップ-1の精度が達成される。 我々は,ニューラルネットワーク探索を用いて,より小さなネットワークの各レイヤの幅と重みを共同で学習し,ANを増強する訓練パラダイムであるDaniable Adjoined Networks (DAN)を提案する。
  論文  参考訳（メタデータ） (2020-06-10T02:48:16Z)
• From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks [71.23327876898816]
  フェデレートラーニング(Federated Learning)は、データを収集するノード間で処理能力を活用することによって、ネットワークエッジでMLモデルをトレーニングするテクニックとして登場した。 我々は、エッジデバイスからクラウドサーバへのノード連続体にMLモデルのトレーニングをインテリジェントに分散する、フォグラーニングと呼ばれる新しい学習パラダイムを提唱する。
  論文  参考訳（メタデータ） (2020-06-07T05:11:18Z)
• Fast Neural Network Adaptation via Parameter Remapping and Architecture Search [35.61441231491448]
  ディープニューラルネットワークは多くのコンピュータビジョンタスクにおいて顕著なパフォーマンスを達成する。 ほとんどの最新技術(SOTA)セマンティックセグメンテーションとオブジェクト検出アプローチは、バックボーンとしてイメージ分類用に設計されたニューラルネットワークアーキテクチャを再利用する。 しかし、大きな課題の1つは、画像Netによる検索空間表現の事前トレーニングが膨大な計算コストを発生させることである。 本稿では、シードネットワークのアーキテクチャとパラメータの両方を適応できる高速ニューラルネットワーク適応(FNA)手法を提案する。
  論文  参考訳（メタデータ） (2020-01-08T13:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。