Fugu-MT 論文翻訳(概要): From Xception to NEXcepTion: New Design Decisions and Neural Architecture Search

論文の概要: From Xception to NEXcepTion: New Design Decisions and Neural Architecture Search

arxiv url: http://arxiv.org/abs/2212.08448v1
Date: Fri, 16 Dec 2022 12:46:21 GMT
ステータス: 処理完了
システム内更新日: 2022-12-19 14:36:31.326432
Title: From Xception to NEXcepTion: New Design Decisions and Neural Architecture Search
Title（参考訳）: XceptionからNEXcepTion: 新しい設計決定とニューラルアーキテクチャ検索
Authors: Hadar Shavit and Filip Jatelnicki and Pol Mor-Puigvent\'os and Wojtek Kowalczyk
Abstract要約: 改良型Xceptionアーキテクチャ、NEXcepTionネットワークを提案する。我々のネットワークは、元のXceptionよりも大幅に性能が良く、ImageNetバリデーションデータセットでトップ1の精度が81.5%に達した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we present a modified Xception architecture, the NEXcepTion network. Our network has significantly better performance than the original Xception, achieving top-1 accuracy of 81.5% on the ImageNet validation dataset (an improvement of 2.5%) as well as a 28% higher throughput. Another variant of our model, NEXcepTion-TP, reaches 81.8% top-1 accuracy, similar to ConvNeXt (82.1%), while having a 27% higher throughput. Our model is the result of applying improved training procedures and new design decisions combined with an application of Neural Architecture Search (NAS) on a smaller dataset. These findings call for revisiting older architectures and reassessing their potential when combined with the latest enhancements.
Abstract（参考訳）: 本稿では,改良型Xceptionアーキテクチャ,NEXcepTionネットワークを提案する。私たちのネットワークは、オリジナルのxceptionよりもかなり優れたパフォーマンスを示し、imagenet validationデータセットで81.5%のtop-1精度を実現しました(2.5%の改善)。もうひとつのモデルであるNEXcepTion-TPは、ConvNeXt (82.1%)と同様、81.8%のトップ1の精度に達し、スループットは27%向上した。私たちのモデルは、改良されたトレーニング手順と新しい設計決定と、より小さなデータセットにニューラルネットワーク検索(nas)を適用した結果です。これらの発見は、古いアーキテクチャを再検討し、最新の拡張と組み合わせてポテンシャルを再評価することを要求している。

関連論文リスト

Achieving Pareto Optimality using Efficient Parameter Reduction for DNNs in Resource-Constrained Edge Environment [1.9055921262476347]
本稿では,既存のDeep Neural Network (DNN) の最適化を提案する。精度を犠牲にすることなくモデルサイズを縮小し、トレーニング中のメモリ使用量を削減できるXceptionの効率的なパラメータ削減戦略を実装した。
論文参考訳（メタデータ） (2024-03-14T19:40:58Z)
ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders [104.05133094625137]
完全畳み込み型マスク付きオートエンコーダフレームワークと,新たなグローバル応答正規化層を提案する。この自己教師付き学習技術とアーキテクチャ改善の共設計により、純粋なConvNetの性能を大幅に向上させるConvNeXt V2と呼ばれる新しいモデルファミリが生まれる。
論文参考訳（メタデータ） (2023-01-02T18:59:31Z)
Automating Neural Architecture Design without Search [3.651848964235307]
アルゴリズム実行中に生成された各ニューラルネットワークを逐次評価する必要のない新しい視点から、自動アーキテクチャ設計について検討する。リンク予測にグラフニューラルネットワークを用いて提案手法を実装し,NAS-Bench-101から知識を得た。さらに、NAS-Bench-101から学んだ知識を利用して、DARTS検索空間におけるアーキテクチャ設計を自動化し、CIFAR10では97.82%、ImageNetでは76.51%の精度で2時間10-4ドルのGPU日しか消費しなかった。
論文参考訳（メタデータ） (2022-04-21T14:41:05Z)
BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文参考訳（メタデータ） (2021-11-25T18:13:42Z)
Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文参考訳（メタデータ） (2021-02-21T01:58:43Z)
Evolving Neural Architecture Using One Shot Model [5.188825486231326]
EvNAS(Evolving Neural Architecture using One Shot Model)と呼ばれるNAS問題に単純な遺伝的アルゴリズムを適用する新しい手法を提案する。 EvNASはプロキシデータセット、すなわちアーキテクチャを検索する。 CIFAR-10 for 4.4 GPU day on a single GPU and achieve a top-1 test error of 2.47%。アーキテクチャ探索問題の解法における進化的手法の可能性を示す。
論文参考訳（メタデータ） (2020-12-23T08:40:53Z)
Single-level Optimization For Differential Architecture Search [6.3531384587183135]
differential architecture search (darts)は、アーキテクチャパラメータの勾配をネットワークの重み付けに偏らせる。本研究では,Sigmoidなどの非競合アクティベーション関数と2レベル最適化を置き換え,softmaxを置き換えることを提案する。 NAS Benchmark 201の実験は、仮説を検証し、ほぼ最適なアーキテクチャを安定的に見つけます。
論文参考訳（メタデータ） (2020-12-15T18:40:33Z)
Evolving Search Space for Neural Architecture Search [70.71153433676024]
最適化された検索空間サブセットを維持することにより,前回の取り組みから得られた結果を増幅するニューラルサーチ空間進化(NSE)方式を提案する。我々は333万のFLOPでImageNet上で77.3%のトップ1リトレーニング精度を実現し、最先端の性能を得た。遅延制約が適用された場合、我々の結果は、77.9%のTop-1再トレーニング精度を持つ、以前の最高のパフォーマンスのモバイルモデルよりも優れた性能が得られる。
論文参考訳（メタデータ） (2020-11-22T01:11:19Z)
EvoPose2D: Pushing the Boundaries of 2D Human Pose Estimation using Accelerated Neuroevolution with Weight Transfer [82.28607779710066]
生物進化にインスパイアされたニューラル・アーキテクチャー・サーチの一形態であるニューラル・エボリューションの2次元ヒューマン・ポーズ・ネットワークの設計への応用について検討する。本手法は,最先端の手設計ネットワークよりも効率的かつ高精度なネットワーク設計を実現する。
論文参考訳（メタデータ） (2020-11-17T05:56:16Z)
Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
精度予測に非神経モデルを用いる別の手法について検討する。我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。 NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
論文参考訳（メタデータ） (2020-07-09T13:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。