論文の概要: Balancing Accuracy and Latency in Multipath Neural Networks

• arxiv url: http://arxiv.org/abs/2104.12040v1
• Date: Sun, 25 Apr 2021 00:05:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-28 11:51:26.887357
• Title: Balancing Accuracy and Latency in Multipath Neural Networks
• Title（参考訳）: マルチパスニューラルネットワークにおけるバランシング精度とレイテンシ
• Authors: Mohammed Amer, Tom\'as Maul, Iman Yi Liao
• Abstract要約: 我々は,一発のニューラルネットワーク探索モデルを用いて,難解な数のニューラルネットワークの性能を暗黙的に評価する。 本手法は,待ち時間が異なるモデル間の相対性能を正確にモデル化し,異なるデータセットをまたいだ精度で未検出モデルの性能を予測できることを示す。
• 参考スコア（独自算出の注目度）: 0.09668407688201358
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growing capacity of neural networks has strongly contributed to their success at complex machine learning tasks and the computational demand of such large models has, in turn, stimulated a significant improvement in the hardware necessary to accelerate their computations. However, models with high latency aren't suitable for limited-resource environments such as hand-held and IoT devices. Hence, many deep learning techniques aim to address this problem by developing models with reasonable accuracy without violating the limited-resource constraint. In this work, we use a one-shot neural architecture search model to implicitly evaluate the performance of an intractable number of multipath neural networks. Combining this architecture search with a pruning technique and architecture sample evaluation, we can model the relation between the accuracy and the latency of a spectrum of models with graded complexity. We show that our method can accurately model the relative performance between models with different latencies and predict the performance of unseen models with good precision across different datasets.
• Abstract（参考訳）: ニューラルネットワークの能力の増大は、複雑な機械学習タスクの成功に大きく貢献し、そのような大規模モデルの計算需要は、計算を加速するために必要なハードウェアの大幅な改善を刺激した。 しかし、レイテンシの高いモデルは、ハンドヘルドやIoTデバイスのような限られたリソース環境には適していない。 したがって、多くのディープラーニング技術は、限られたリソース制約に違反することなく、適切な精度のモデルを開発することでこの問題に対処することを目指している。 本研究では,一発のニューラルネットワーク探索モデルを用いて,難解な複数パスニューラルネットワークの性能を暗黙的に評価する。 このアーキテクチャ検索とプルーニング手法とアーキテクチャサンプル評価を組み合わせることで、グレードの複雑さを持つモデルのスペクトルの精度とレイテンシの関係をモデル化することができる。 提案手法は,異なるレイテンシを持つモデル間の相対的性能を精度良くモデル化し,異なるデータセット間で良好な精度で未知のモデルの性能を予測する。

関連論文リスト

• A method for quantifying the generalization capabilities of generative models for solving Ising models [5.699467840225041]
  我々は、ハミング距離正規化器を用いて、VANと組み合わせた様々なネットワークアーキテクチャの一般化能力を定量化する。 フィードフォワードニューラルネットワーク,リカレントニューラルネットワーク,グラフニューラルネットワークなど,VANと組み合わせたネットワークアーキテクチャの数値実験を行う。 本手法は,大規模Isingモデルの解法において,最適なネットワークアーキテクチャを探索するニューラルネットワーク探索の分野を支援する上で,非常に重要である。
  論文  参考訳（メタデータ） (2024-05-06T12:58:48Z)
• Latent variable model for high-dimensional point process with structured missingness [4.451479907610764]
  縦断データは医療、社会学、地震学など多くの分野で重要である。 実世界のデータセットは高次元であり、構造化された欠陥パターンを含み、測定時間ポイントは未知のプロセスによって管理される。 これらの制限に対処可能な、柔軟で効率的な潜在変数モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-08T15:41:48Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• The Untapped Potential of Off-the-Shelf Convolutional Neural Networks [29.205446247063673]
  ResNet-50のような既存の市販モデルは、ImageNet上で95%以上の精度を持つことを示す。 このレベルのパフォーマンスは現在、20倍以上のパラメータとはるかに複雑なトレーニング手順を持つモデルを上回る。
  論文  参考訳（メタデータ） (2021-03-17T20:04:46Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Action-Conditional Recurrent Kalman Networks For Forward and Inverse Dynamics Learning [17.80270555749689]
  ロボットのモデルベース制御において、正確な前方および逆ダイナミクスモデルの推定が重要な要素である。 本稿では,フォワードモデル学習のためのアーキテクチャと,逆モデル学習のためのアーキテクチャを提案する。 どちらのアーキテクチャも、予測性能の点で、既存のモデル学習フレームワークと分析モデルを大きく上回っている。
  論文  参考訳（メタデータ） (2020-10-20T11:28:25Z)
• Computation on Sparse Neural Networks: an Inspiration for Future Hardware [20.131626638342706]
  スパースニューラルネットワークの計算に関する研究の現状について述べる。 本稿では,重みパラメータの数とモデル構造に影響されるモデルの精度について論じる。 実際に複雑な問題に対して、重みが支配する領域において、大小のモデルを探索することはより有益であることを示す。
  論文  参考訳（メタデータ） (2020-04-24T19:13:50Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。