Fugu-MT 論文翻訳(概要): Enhancing Once-For-All: A Study on Parallel Blocks, Skip Connections and Early Exits

論文の概要: Enhancing Once-For-All: A Study on Parallel Blocks, Skip Connections and Early Exits

arxiv url: http://arxiv.org/abs/2302.01888v1
Date: Fri, 3 Feb 2023 17:53:40 GMT
ステータス: 処理完了
システム内更新日: 2023-02-06 15:14:10.080070
Title: Enhancing Once-For-All: A Study on Parallel Blocks, Skip Connections and Early Exits
Title（参考訳）: 一度限りの強化: 並列ブロック, スキップ接続, 早期終了に関する研究
Authors: Simone Sarti, Eugenio Lomurno, Andrea Falanti, Matteo Matteucci
Abstract要約: once-For-All (OFA) は、容易に適応可能なモデルを生成する能力によって特徴づけられるエコフレンドリーなアルゴリズムである。 OFAは、アーリーエグジット、並列ブロック、高密度スキップ接続を含むことで、アーキテクチャの観点から改善されている。 OFAAv2は、Tiny ImageNetデータセットの精度をOFAのオリジナルバージョンと比較して最大12.07%改善している。
参考スコア（独自算出の注目度）: 7.0895962209555465
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: The use of Neural Architecture Search (NAS) techniques to automate the design of neural networks has become increasingly popular in recent years. The proliferation of devices with different hardware characteristics using such neural networks, as well as the need to reduce the power consumption for their search, has led to the realisation of Once-For-All (OFA), an eco-friendly algorithm characterised by the ability to generate easily adaptable models through a single learning process. In order to improve this paradigm and develop high-performance yet eco-friendly NAS techniques, this paper presents OFAv2, the extension of OFA aimed at improving its performance while maintaining the same ecological advantage. The algorithm is improved from an architectural point of view by including early exits, parallel blocks and dense skip connections. The training process is extended by two new phases called Elastic Level and Elastic Height. A new Knowledge Distillation technique is presented to handle multi-output networks, and finally a new strategy for dynamic teacher network selection is proposed. These modifications allow OFAv2 to improve its accuracy performance on the Tiny ImageNet dataset by up to 12.07% compared to the original version of OFA, while maintaining the algorithm flexibility and advantages.
Abstract（参考訳）: 近年,ニューラルネットワークの設計を自動化するためにNAS(Neural Architecture Search)技術が普及している。このようなニューラルネットワークを用いた異なるハードウェア特性を持つデバイスの普及と,検索の消費電力削減の必要性により,単一学習プロセスを通じて容易に適応可能なモデルを生成する能力によって特徴付けられる,エコフレンドリーなアルゴリズムである Once-For-All (OFA) が実現された。本稿では,このパラダイムを改良し,高性能かつエコフレンドリーなnas技術を開発するために,同じ生態的優位性を維持しつつ,その性能向上を目的としたofaの拡張であるofav2を提案する。このアルゴリズムは、早期出口、並列ブロック、高密度スキップ接続を含むアーキテクチャの観点から改善されている。トレーニングプロセスは、Elastic LevelとElastic Heightと呼ばれる2つの新しいフェーズによって拡張されます。マルチアウトプットネットワークを扱うための新しい知識蒸留技術を提案し,最後に動的教師ネットワーク選択のための新しい戦略を提案する。これらの修正により、OFAv2はTiny ImageNetデータセットの精度をOFAのオリジナルバージョンと比較して最大12.07%向上し、アルゴリズムの柔軟性とアドバンテージを維持した。

関連論文リスト

Combining Neural Architecture Search and Automatic Code Optimization: A Survey [0.8796261172196743]
ハードウェア対応ニューラルアーキテクチャサーチ(HW-NAS)と自動コード最適化(ACO)の2つの特長がある。 HW-NASは正確だがハードウェアフレンドリなニューラルネットワークを自動設計する。この調査では、これらの2つのテクニックをひとつのフレームワークで組み合わせた最近の研究について調査する。
論文参考訳（メタデータ） (2024-08-07T22:40:05Z)
SONATA: Self-adaptive Evolutionary Framework for Hardware-aware Neural Architecture Search [0.7646713951724011]
HW-Aware Neural Architecture Search (HW-Aware NAS)は、NNの設計を自動化する魅力的な戦略である。 HW対応NASのための自己適応型進化アルゴリズムであるSONATAを提案する。本手法は,NN設計パラメータの学習的重要性に導かれる適応的進化演算子を利用する。
論文参考訳（メタデータ） (2024-02-20T18:15:11Z)
Neural Architecture Transfer 2: A Paradigm for Improving Efficiency in Multi-Objective Neural Architecture Search [7.967995669387532]
我々は,多目的探索アルゴリズムを改善するニューラルアーキテクチャトランスファー(NAT)の拡張であるNATv2を提案する。 NATv2は、改良されたスーパーネットワークを利用することで、抽出可能なサブネットワークの質的な改善を実現している。
論文参考訳（メタデータ） (2023-07-03T12:25:09Z)
Multi-agent Reinforcement Learning with Graph Q-Networks for Antenna Tuning [60.94661435297309]
モバイルネットワークの規模は、手作業による介入や手作業による戦略を使ってアンテナパラメータの最適化を困難にしている。本研究では,モバイルネットワーク構成をグローバルに最適化するマルチエージェント強化学習アルゴリズムを提案する。シミュレーション環境におけるアンテナ傾き調整問題とジョイント傾き・電力制御問題に対するアルゴリズムの性能を実証的に示す。
論文参考訳（メタデータ） (2023-01-20T17:06:34Z)
Receptive Field Refinement for Convolutional Neural Networks Reliably Improves Predictive Performance [1.52292571922932]
本稿では,このような理論的および経験的性能向上をもたらす受容場解析への新たなアプローチを提案する。我々のアプローチは、広く知られたSOTA(State-of-the-art)モデルクラスにおいて、ImageNet1Kのパフォーマンスを改善することができる。
論文参考訳（メタデータ） (2022-11-26T05:27:44Z)
Neural Networks with A La Carte Selection of Activation Functions [0.0]
活性化関数(AF)は、ニューラルネットワークの成功(または失敗)に重要な要素である。多数の既知のAFをアーキテクチャの成功と組み合わせて、有益な3つの方法を提案しています。本稿では,ReLU隠れユニットとソフトマックス出力ユニットからなる標準ネットワークと比較して,25の分類問題に対して,全ての手法が有意に優れた結果をもたらすことを示す。
論文参考訳（メタデータ） (2022-06-24T09:09:39Z)
FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文参考訳（メタデータ） (2022-04-10T11:38:33Z)
Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文参考訳（メタデータ） (2021-05-03T07:23:39Z)
CondenseNet V2: Sparse Feature Reactivation for Deep Networks [87.38447745642479]
高密度接続によるディープネットワークの機能再利用は、高い計算効率を達成する効果的な方法である。スパース機能再活性化(SFR)と呼ばれる代替アプローチを提案し、再利用機能の有用性を積極的に高めることを目指しています。提案手法は画像分類(ImageNet, CIFAR)とオブジェクト検出(MSCOCO)において,理論的効率と実用的速度の両面で有望な性能を達成できることを示す。
論文参考訳（メタデータ） (2021-04-09T14:12:43Z)
Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文参考訳（メタデータ） (2021-03-25T01:48:14Z)
Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。