論文の概要: Joint-DetNAS: Upgrade Your Detector with NAS, Pruning and Dynamic Distillation

• arxiv url: http://arxiv.org/abs/2105.12971v1
• Date: Thu, 27 May 2021 07:25:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-28 16:39:39.509332
• Title: Joint-DetNAS: Upgrade Your Detector with NAS, Pruning and Dynamic Distillation
• Title（参考訳）: Joint-DetNAS:NAS、プルーニング、動的蒸留による検出器のアップグレード
• Authors: Lewei Yao, Renjie Pi, Hang Xu, Wei Zhang, Zhenguo Li, Tong Zhang
• Abstract要約: オブジェクト検出のための統一NASフレームワークであるJoint-DetNASを提案する。 Joint-DetNASは、Neural Architecture Search、pruning、Knowledge Distillationの3つの重要なコンポーネントを統合している。 提案アルゴリズムは, 外部学習を伴わずに, 高い性能で直接出力する。
• 参考スコア（独自算出の注目度）: 49.421099172544196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Joint-DetNAS, a unified NAS framework for object detection, which integrates 3 key components: Neural Architecture Search, pruning, and Knowledge Distillation. Instead of naively pipelining these techniques, our Joint-DetNAS optimizes them jointly. The algorithm consists of two core processes: student morphism optimizes the student's architecture and removes the redundant parameters, while dynamic distillation aims to find the optimal matching teacher. For student morphism, weight inheritance strategy is adopted, allowing the student to flexibly update its architecture while fully utilize the predecessor's weights, which considerably accelerates the search; To facilitate dynamic distillation, an elastic teacher pool is trained via integrated progressive shrinking strategy, from which teacher detectors can be sampled without additional cost in subsequent searches. Given a base detector as the input, our algorithm directly outputs the derived student detector with high performance without additional training. Experiments demonstrate that our Joint-DetNAS outperforms the naive pipelining approach by a great margin. Given a classic R101-FPN as the base detector, Joint-DetNAS is able to boost its mAP from 41.4 to 43.9 on MS COCO and reduce the latency by 47%, which is on par with the SOTA EfficientDet while requiring less search cost. We hope our proposed method can provide the community with a new way of jointly optimizing NAS, KD and pruning.
• Abstract（参考訳）: オブジェクト検出のための統一NASフレームワークであるJoint-DetNASを提案し,ニューラルアーキテクチャ検索,プルーニング,知識蒸留という3つの重要なコンポーネントを統合した。 これらのテクニックをナビゲートする代わりに、Joint-DetNASはそれらを共同で最適化します。 このアルゴリズムは2つのコアプロセスで構成されている: 学生の射は学生のアーキテクチャを最適化し、冗長なパラメータを除去する。 動的蒸留を容易にするために、動的蒸留を容易にするために、弾力性のある教師プールを統合的なプログレッシブ縮小戦略によって訓練し、教師検出器をその後の検索で追加のコストなしでサンプリングすることができる。 入力としてベース検出器が与えられると、本アルゴリズムは、追加のトレーニングなしで、高パフォーマンスで派生した学生検出器を直接出力する。 実験により, 実験により, 継手デトナスは, ナイーブパイプライニングアプローチを大きく上回ることがわかった。 ベース検出器として古典的なR101-FPNが与えられた後、Joint-DetNASはMS COCOでmAPを41.4から43.9に引き上げ、遅延を47%削減した。 提案手法は,NAS,KD,プルーニングを共同で最適化する新しい方法を提供することを願っている。

関連論文リスト

• Lightweight Diffusion Models with Distillation-Based Block Neural Architecture Search [55.41583104734349]
  拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。 事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。 従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
  論文  参考訳（メタデータ） (2023-11-08T12:56:59Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• L$^{2}$NAS: Learning to Optimize Neural Architectures via Continuous-Action Reinforcement Learning [23.25155249879658]
  微分可能なアーキテクチャサーチ(NAS)は、ディープニューラルネットワーク設計において顕著な結果を得た。 L$2$は,DART201ベンチマークやNASS,Imse-for-All検索ポリシで,最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-25T19:26:30Z)
• OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
  近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。 本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T01:48:53Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。