論文の概要: Prioritized Subnet Sampling for Resource-Adaptive Supernet Training

• arxiv url: http://arxiv.org/abs/2109.05432v1
• Date: Sun, 12 Sep 2021 04:43:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 15:39:26.349875
• Title: Prioritized Subnet Sampling for Resource-Adaptive Supernet Training
• Title（参考訳）: 資源適応型スーパーネットトレーニングのための優先サブネットサンプリング
• Authors: Bohong Chen, Mingbao Lin, Liujuan Cao, Jianzhuang Liu, Qixiang Ye, Baochang Zhang, Wei Zeng, Yonghong Tian, Rongrong Ji
• Abstract要約: 資源適応型スーパーネットであるPSS-Netを学習するための優先順位付きサブネットサンプリングを提案する。 MobileNetV1/V2を用いたImageNetの実験では、当社のPSS-Netは、最先端のリソース適応型スーパーネットより優れていることが示されている。
• 参考スコア（独自算出の注目度）: 136.6591624918964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A resource-adaptive supernet adjusts its subnets for inference to fit the dynamically available resources. In this paper, we propose Prioritized Subnet Sampling to train a resource-adaptive supernet, termed PSS-Net. We maintain multiple subnet pools, each of which stores the information of substantial subnets with similar resource consumption. Considering a resource constraint, subnets conditioned on this resource constraint are sampled from a pre-defined subnet structure space and high-quality ones will be inserted into the corresponding subnet pool. Then, the sampling will gradually be prone to sampling subnets from the subnet pools. Moreover, the one with a better performance metric is assigned with higher priority to train our PSS-Net, if sampling is from a subnet pool. At the end of training, our PSS-Net retains the best subnet in each pool to entitle a fast switch of high-quality subnets for inference when the available resources vary. Experiments on ImageNet using MobileNetV1/V2 show that our PSS-Net can well outperform state-of-the-art resource-adaptive supernets. Our project is at https://github.com/chenbong/PSS-Net.
• Abstract（参考訳）: リソース適応スーパーネットは、動的に利用可能なリソースに適合するようにサブネットを調整する。 本稿では,資源適応型スーパーネットであるPSS-Netを学習するための優先順位付きサブネットサンプリングを提案する。 我々は複数のサブネットプールを維持しており、それぞれがリソース消費に類似した実質的なサブネットの情報を保存する。 リソース制約を考えると、このリソース制約に基づいて条件付けられたサブネットは予め定義されたサブネット構造空間からサンプリングされ、高品質なサブネットは対応するサブネットプールに挿入される。 その後、サンプリングは徐々にサブネットプールからサブネットをサンプリングする傾向にある。 さらに、より良いパフォーマンス指標を持つものは、サンプリングがサブネットプールからのものである場合、pss-netのトレーニングを優先するように割り当てられます。 トレーニングの終了時、pss-netは各プールの最高のサブネットを保持し、利用可能なリソースが異なる場合に、高品質のサブネットを高速に切り替える権利を付与します。 MobileNetV1/V2を用いたImageNetの実験では、我々のPSS-Netは最先端のリソース適応型スーパーネットより優れた性能を発揮する。 私たちのプロジェクトはhttps://github.com/chenbong/PSS-Netにあります。

関連論文リスト

• PSE-Net: Channel Pruning for Convolutional Neural Networks with Parallel-subnets Estimator [16.698190973547362]
  PSE-Net(英語版)は、効率的なチャネルプルーニングのための新しい並列サブネット推定器である。 提案アルゴリズムは,スーパーネットトレーニングの効率化を実現する。 本研究では,従来の進化探索の性能を高めるために,事前分散型サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-08-29T03:20:43Z)
• A Distributed Neural Linear Thompson Sampling Framework to Achieve URLLC in Industrial IoT [16.167107624956294]
  産業用IoT(Industrial Internet of Things)ネットワークは、重要なプロセスをサポートするために、ウルトラ信頼性の低い低レイテンシ通信(URLLC)を提供する。 無線リソースを割り当てるための標準プロトコルは、特にアップリンク通信において、レイテンシと信頼性のトレードオフを最適化しない可能性がある。
  論文  参考訳（メタデータ） (2023-11-21T12:22:04Z)
• Boosting Residual Networks with Group Knowledge [75.73793561417702]
  最近の研究は、暗黙のアンサンブルモデルの新しい視点から、残余ネットワークを理解する。 深度学習や刺激訓練といった従来の手法は, サンプリングとトレーニングにより, 残留ネットワークの性能をさらに向上させてきた。 残余ネットワークの性能を高めるためのグループ知識に基づくトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-26T05:39:57Z)
• ShiftNAS: Improving One-shot NAS via Probability Shift [1.3537414663819973]
  ネットワークの複雑さに基づいてサンプリング確率を調整する手法であるShiftNASを提案する。 我々は、畳み込みニューラルネットワーク(CNN)や視覚変換器(ViT)を含む複数の視覚ネットワークモデルに対するアプローチを評価する。 ImageNetの実験結果によると、ShiftNASは追加消費なしでワンショットNASの性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-07-17T07:53:23Z)
• Prior-Guided One-shot Neural Architecture Search [11.609732776776982]
  我々は、スーパーネットのランキング相関を強化するために、プリエントガイドワンショットNAS(PGONAS)を提案する。 我々のPGONASはCVPR2022のスーパーネットトラックの3位にランクインしている。
  論文  参考訳（メタデータ） (2022-06-27T14:19:56Z)
• Searching for Network Width with Bilaterally Coupled Network [75.43658047510334]
  この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。 本稿では,Channel-Bench-Macroというマクロ構造に対するオープンソースのワイド・ベンチマークを提案し,ワイド・サーチ・アルゴリズムの比較を行った。
  論文  参考訳（メタデータ） (2022-03-25T15:32:46Z)
• Multi-Source Domain Adaptation for Object Detection [52.87890831055648]
  我々は、Divide-and-Merge Spindle Network (DMSN)と呼ばれる、より高速なR-CNNベースのフレームワークを提案する。 DMSNはドメイン非ネイティブを同時に強化し、識別力を維持することができる。 擬似目標部分集合の最適パラメータを近似する新しい擬似学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-06-30T03:17:20Z)
• BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
  この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。 提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
  論文  参考訳（メタデータ） (2021-05-21T18:54:03Z)
• Resource Allocation via Graph Neural Networks in Free Space Optical Fronthaul Networks [119.81868223344173]
  本稿では,自由空間光(FSO)フロントホールネットワークにおける最適資源割り当てについて検討する。 我々は、FSOネットワーク構造を利用するために、ポリシーパラメータ化のためのグラフニューラルネットワーク(GNN)を検討する。 本アルゴリズムは,システムモデルに関する知識が不要なモデルフリーでGNNを訓練するために開発された。
  論文  参考訳（メタデータ） (2020-06-26T14:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。