論文の概要: Efficient Incorporation of Multiple Latency Targets in the Once-For-All Network

• arxiv url: http://arxiv.org/abs/2012.06748v1
• Date: Sat, 12 Dec 2020 07:34:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-10 09:41:32.226653
• Title: Efficient Incorporation of Multiple Latency Targets in the Once-For-All Network
• Title（参考訳）: 繰り返しネットワークにおける複数遅延ターゲットの効率的な組み込み
• Authors: Vidhur Kumar and Andrew Szidon
• Abstract要約: ofaネットワークにおける複数のレイテンシターゲットを効率的に組み込むために,ウォームスタートとランダムネットワークプルーニングを用いた2つの戦略を導入する。 これらの戦略を現在の OFA 実装に対して評価し、当社の戦略が実行時間の大幅な向上をもたらすことを実証します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Architecture Search has proven an effective method of automating architecture engineering. Recent work in the field has been to look for architectures subject to multiple objectives such as accuracy and latency to efficiently deploy them on different target hardware. Once-for-All (OFA) is one such method that decouples training and search and is able to find high-performance networks for different latency constraints. However, the search phase is inefficient at incorporating multiple latency targets. In this paper, we introduce two strategies (Top-down and Bottom-up) that use warm starting and randomized network pruning for the efficient incorporation of multiple latency targets in the OFA network. We evaluate these strategies against the current OFA implementation and demonstrate that our strategies offer significant running time performance gains while not sacrificing the accuracy of the subnetworks that were found for each latency target. We further demonstrate that these performance gains are generalized to every design space used by the OFA network.
• Abstract（参考訳）: Neural Architecture Searchは、アーキテクチャエンジニアリングを自動化する効果的な方法として証明されている。 この分野の最近の取り組みは、異なるターゲットハードウェアに効率的にデプロイするために、精度やレイテンシなど、複数の目的のアーキテクチャを検討することである。 once-for-all (ofa) はトレーニングと検索を分離し、レイテンシー制約の異なる高性能ネットワークを見つけることができる。 しかし、検索フェーズは複数の遅延ターゲットを組み込むのに非効率である。 本稿では,複数の遅延目標をofaネットワークに効率的に組み込むために,ウォームスタートとランダムネットワークプルーニングを用いた2つの戦略(トップダウンとボトムアップ)を提案する。 我々はこれらの戦略を現在のOFA実装に対して評価し、我々の戦略が各レイテンシターゲットで見つかったサブネットワークの精度を犠牲にすることなく、実行時のパフォーマンスを大幅に向上させることを示した。 さらに、これらの性能向上はOFAネットワークが使用するすべての設計空間に一般化されることを示す。

関連論文リスト

• SimQ-NAS: Simultaneous Quantization Policy and Neural Architecture Search [6.121126813817338]
  最近のワンショットニューラルネットワーク検索アルゴリズムは、特定のタスクに適したハードウェアに依存しないスーパーネットワークをトレーニングし、異なるハードウェアプラットフォームのための効率的なサブネットワークを抽出する。 我々は,光学習された予測器と組み合わせた多目的探索アルゴリズムを用いることで,サブネットワークアーキテクチャとそれに対応する量子化ポリシーの両方を効率的に探索できることを示す。
  論文  参考訳（メタデータ） (2023-12-19T22:08:49Z)
• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• DANCE: Differentiable Accelerator/Network Co-Exploration [8.540518473228078]
  この研究は、ハードウェアアクセラレーターとネットワークアーキテクチャ設計の共同探索に向けた異なるアプローチを示す。 ハードウェア評価ソフトウェアをニューラルネットワークでモデル化することにより、アクセラレーションアーキテクチャとハードウェアメトリクスの関係は微分可能となる。 提案手法は,既存手法と比較して,精度とハードウェアコストの指標を向上しつつ,比較的短い時間で共同探索を行う。
  論文  参考訳（メタデータ） (2020-09-14T07:43:27Z)
• CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search [102.67142711824748]
  CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。 メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。 また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
  論文  参考訳（メタデータ） (2020-07-18T09:35:53Z)
• Real-Time Segmentation Networks should be Latency Aware [0.0]
  「平均対合(mIoU)における平均対合(mIoU)の性能指標は、これらのネットワークがリアルタイムに運用する際の真の性能を推定するために必要な情報を完全には捉えていない。」 ネットワークが処理を完了したときの将来の入力フレームにマッチする将来の出力セグメンテーションマップを予測することを提案する。
  論文  参考訳（メタデータ） (2020-04-06T11:41:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。