論文の概要: The Untapped Potential of Off-the-Shelf Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2103.09891v1
• Date: Wed, 17 Mar 2021 20:04:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-20 07:28:27.521355
• Title: The Untapped Potential of Off-the-Shelf Convolutional Neural Networks
• Title（参考訳）: 市販畳み込みニューラルネットワークの未解決ポテンシャル
• Authors: Matthew Inkawhich, Nathan Inkawhich, Eric Davis, Hai Li and Yiran Chen
• Abstract要約: ResNet-50のような既存の市販モデルは、ImageNet上で95%以上の精度を持つことを示す。 このレベルのパフォーマンスは現在、20倍以上のパラメータとはるかに複雑なトレーニング手順を持つモデルを上回る。
• 参考スコア（独自算出の注目度）: 29.205446247063673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over recent years, a myriad of novel convolutional network architectures have been developed to advance state-of-the-art performance on challenging recognition tasks. As computational resources improve, a great deal of effort has been placed in efficiently scaling up existing designs and generating new architectures with Neural Architecture Search (NAS) algorithms. While network topology has proven to be a critical factor for model performance, we show that significant gains are being left on the table by keeping topology static at inference-time. Due to challenges such as scale variation, we should not expect static models configured to perform well across a training dataset to be optimally configured to handle all test data. In this work, we seek to expose the exciting potential of inference-time-dynamic models. By allowing just four layers to dynamically change configuration at inference-time, we show that existing off-the-shelf models like ResNet-50 are capable of over 95% accuracy on ImageNet. This level of performance currently exceeds that of models with over 20x more parameters and significantly more complex training procedures.
• Abstract（参考訳）: 近年,多くの新しい畳み込みネットワークアーキテクチャが開発され,課題認識タスクの最先端性能が向上している。 計算資源の改善に伴い、既存の設計を効率的にスケールアップし、ニューラルアーキテクチャサーチ(NAS)アルゴリズムで新しいアーキテクチャを生成することに多大な努力が払われている。 ネットワークトポロジーはモデル性能にとって重要な要素であることが証明されているが、トポロジーを推論時に静的に保つことによって、かなりの利益がテーブルに残されていることを示している。 スケールの変動のような課題のため、トレーニングデータセット全体でうまく機能するように設定された静的モデルは、すべてのテストデータを扱うように最適に設定されるべきではない。 本研究では,推論時間動的モデルのエキサイティングな可能性を明らかにする。 resnet-50のような既存の既製のモデルでは、イメージネット上で95%以上の精度で構成を動的に変更することができる。 このレベルのパフォーマンスは現在、20倍以上のパラメータとはるかに複雑なトレーニング手順を持つモデルを上回る。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [67.25782152459851]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Receptive Field Refinement for Convolutional Neural Networks Reliably Improves Predictive Performance [1.52292571922932]
  本稿では,このような理論的および経験的性能向上をもたらす受容場解析への新たなアプローチを提案する。 我々のアプローチは、広く知られたSOTA(State-of-the-art)モデルクラスにおいて、ImageNet1Kのパフォーマンスを改善することができる。
  論文  参考訳（メタデータ） (2022-11-26T05:27:44Z)
• RLFlow: Optimising Neural Network Subgraph Transformation with World Models [0.0]
  本稿では,ニューラルネットワークのアーキテクチャを最適化するためのモデルベースエージェントを提案する。 提案手法は, 共通の畳み込みネットワーク上での最先端技術の性能に適合し, トランスフォーマースタイルのアーキテクチャでは最大5%性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-03T11:52:54Z)
• Efficient Neural Architecture Search with Performance Prediction [0.0]
  ニューラルアーキテクチャ検索を使用して、目前にあるタスクに最適なネットワークアーキテクチャを見つけます。 既存のNASアルゴリズムは、スクラッチから完全にトレーニングすることで、新しいアーキテクチャの適合性を評価する。 サンプルアーキテクチャの評価を高速化するために,エンドツーエンドのオフライン性能予測器を提案する。
  論文  参考訳（メタデータ） (2021-08-04T05:44:16Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Balancing Accuracy and Latency in Multipath Neural Networks [0.09668407688201358]
  我々は,一発のニューラルネットワーク探索モデルを用いて,難解な数のニューラルネットワークの性能を暗黙的に評価する。 本手法は,待ち時間が異なるモデル間の相対性能を正確にモデル化し,異なるデータセットをまたいだ精度で未検出モデルの性能を予測できることを示す。
  論文  参考訳（メタデータ） (2021-04-25T00:05:48Z)
• Computation on Sparse Neural Networks: an Inspiration for Future Hardware [20.131626638342706]
  スパースニューラルネットワークの計算に関する研究の現状について述べる。 本稿では,重みパラメータの数とモデル構造に影響されるモデルの精度について論じる。 実際に複雑な問題に対して、重みが支配する領域において、大小のモデルを探索することはより有益であることを示す。
  論文  参考訳（メタデータ） (2020-04-24T19:13:50Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。