論文の概要: Reducing Inference Latency with Concurrent Architectures for Image Recognition

• arxiv url: http://arxiv.org/abs/2011.07092v1
• Date: Fri, 13 Nov 2020 19:15:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 00:20:43.181185
• Title: Reducing Inference Latency with Concurrent Architectures for Image Recognition
• Title（参考訳）: 画像認識のための並列アーキテクチャによる推論遅延の削減
• Authors: Ramyad Hadidi, Jiashen Cao, Michael S. Ryoo, Hyesoon Kim
• Abstract要約: 推論レイテンシの削減における現在のアプローチは、レイヤ内でのみ増加する。 NASの新しいスペースは、単一のチェーン依存性を緩和し、より高い並列性と分散機会を提供する。 予備的な結果は、これらの新しいアーキテクチャが推論遅延を減らし、より注意に値することを示している。
• 参考スコア（独自算出の注目度）: 41.74149978397345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Satisfying the high computation demand of modern deep learning architectures is challenging for achieving low inference latency. The current approaches in decreasing latency only increase parallelism within a layer. This is because architectures typically capture a single-chain dependency pattern that prevents efficient distribution with a higher concurrency (i.e., simultaneous execution of one inference among devices). Such single-chain dependencies are so widespread that even implicitly biases recent neural architecture search (NAS) studies. In this visionary paper, we draw attention to an entirely new space of NAS that relaxes the single-chain dependency to provide higher concurrency and distribution opportunities. To quantitatively compare these architectures, we propose a score that encapsulates crucial metrics such as communication, concurrency, and load balancing. Additionally, we propose a new generator and transformation block that consistently deliver superior architectures compared to current state-of-the-art methods. Finally, our preliminary results show that these new architectures reduce the inference latency and deserve more attention.
• Abstract（参考訳）: 現代のディープラーニングアーキテクチャの計算能力の高い要求を満たすことは、推論遅延の低減には困難である。 現在のレイテンシ低減のアプローチは、レイヤ内の並列性のみを増加させる。 これは、アーキテクチャが通常、高い並行性(デバイス間での1つの推論の同時実行)で効率的な分散を防止する単一のチェーン依存性パターンをキャプチャするからである。 このような単一チェーンの依存関係は非常に広く、最近のneural architecture search(nas)研究に暗黙的に偏っている。 本稿では,nasのまったく新しい領域に注目し,単一チェーン依存性を緩和し,高並列性と分散の機会を提供する。 これらのアーキテクチャを定量的に比較するために,コミュニケーションや並行性,ロードバランシングといった重要な指標をカプセル化したスコアを提案する。 さらに,現在の最先端手法に比べて優れたアーキテクチャを一貫して提供する新しいジェネレータと変換ブロックを提案する。 最後に,これらの新しいアーキテクチャが推論遅延を低減し,より注目に値することを示す。

関連論文リスト

• Multi-conditioned Graph Diffusion for Neural Architecture Search [8.290336491323796]
  本稿では、離散的な条件付きグラフ拡散プロセスを用いて、高性能ニューラルネットワークアーキテクチャを生成するグラフ拡散に基づくNAS手法を提案する。 6つの標準ベンチマークで有望な結果を示し、新しいアーキテクチャとユニークなアーキテクチャを高速に実現します。
  論文  参考訳（メタデータ） (2024-03-09T21:45:31Z)
• Architecture Aware Latency Constrained Sparse Neural Networks [35.50683537052815]
  本稿では,CNNモデルの作成と高速化を目的として,遅延制約付きスパースフレームワークを設計する。 また,効率的な計算のための新しいスパース畳み込みアルゴリズムを提案する。 我々のシステム・アルゴリズムの共同設計フレームワークは、リソース制約のあるモバイルデバイス上でのネットワークの精度とレイテンシのフロンティアをはるかに向上させることができる。
  論文  参考訳（メタデータ） (2021-09-01T03:41:31Z)
• Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search [70.57382341642418]
  重量共有は、コモディティハードウェア上での検索を可能にするため、ニューラルネットワークアーキテクチャ検索のデファクトスタンダードとなっています。 近年の研究では、スタンドアロンアーキテクチャのパフォーマンスと対応する共有重み付きネットワークのパフォーマンスのランキング障害が実証されている。 本稿では,共有重みネットワークの性能ランキングとスタンドアロンアーキテクチャのパフォーマンスランキングの相関を最大化することを目的とした正規化用語を提案する。
  論文  参考訳（メタデータ） (2021-04-12T09:32:33Z)
• Contrastive Neural Architecture Search with Neural Architecture Comparators [46.45102111497492]
  neural architecture search(nas)における重要なステップの1つは、候補アーキテクチャのパフォーマンスを見積もることである。 既存のメソッドは、バリデーションパフォーマンスを直接使用するか、あるいは予測子を学習してパフォーマンスを見積もる。 本稿では,アーキテクチャ間の比較結果を報奨としてアーキテクチャ探索を行うCTNAS(Contrastive Neural Architecture Search)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-08T11:24:07Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Unsupervised Monocular Depth Learning with Integrated Intrinsics and Spatio-Temporal Constraints [61.46323213702369]
  本研究は,大規模深度マップとエゴモーションを予測可能な教師なし学習フレームワークを提案する。 本結果は,KITTI運転データセットの複数シーケンスにおける現在の最先端技術と比較して,高い性能を示す。
  論文  参考訳（メタデータ） (2020-11-02T22:26:58Z)
• LC-NAS: Latency Constrained Neural Architecture Search for Point Cloud Networks [73.78551758828294]
  LC-NASは、最小計算コストでポイントクラウド分類のための最先端アーキテクチャを見つけることができる。 検索したアーキテクチャが、適度に低い精度で、望ましいレイテンシを実現する方法を示します。
  論文  参考訳（メタデータ） (2020-08-24T10:30:21Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)
• Stacked Boosters Network Architecture for Short Term Load Forecasting in Buildings [0.0]
  本稿では,建築エネルギー負荷の短期的負荷予測のための新しいディープラーニングアーキテクチャを提案する。 このアーキテクチャは、単純なベースラーナーと、単一のディープニューラルネットワークとしてモデル化された複数のブースティングシステムに基づいている。 このアーキテクチャは、フィンランドのオフィスビルのエネルギーデータを用いて、短期的な負荷予測タスクで評価される。
  論文  参考訳（メタデータ） (2020-01-23T08:35:36Z)
• Residual Attention Net for Superior Cross-Domain Time Sequence Modeling [0.0]
  本稿では新しいアーキテクチャのコンセプト実証として機能し、RANはモデルにシーケンスパターンのより高レベルな理解を提供することを目的としている。 その結果,35の最先端結果が得られたが,10の結果が現在の最先端結果と一致し,さらなるモデル微調整は行われなかった。
  論文  参考訳（メタデータ） (2020-01-13T06:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。