論文の概要: Neural Architecture Transfer 2: A Paradigm for Improving Efficiency in
Multi-Objective Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2307.00960v1
- Date: Mon, 3 Jul 2023 12:25:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 13:20:46.342210
- Title: Neural Architecture Transfer 2: A Paradigm for Improving Efficiency in
Multi-Objective Neural Architecture Search
- Title（参考訳）: ニューラルアーキテクチャトランスファー2:多目的ニューラルアーキテクチャ探索における効率向上のためのパラダイム
- Authors: Simone Sarti, Eugenio Lomurno, Matteo Matteucci
- Abstract要約: 我々は,多目的探索アルゴリズムを改善するニューラルアーキテクチャトランスファー(NAT)の拡張であるNATv2を提案する。
NATv2は、改良されたスーパーネットワークを利用することで、抽出可能なサブネットワークの質的な改善を実現している。
- 参考スコア（独自算出の注目度）: 7.967995669387532
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Deep learning is increasingly impacting various aspects of contemporary
society. Artificial neural networks have emerged as the dominant models for
solving an expanding range of tasks. The introduction of Neural Architecture
Search (NAS) techniques, which enable the automatic design of task-optimal
networks, has led to remarkable advances. However, the NAS process is typically
associated with long execution times and significant computational resource
requirements. Once-For-All (OFA) and its successor, Once-For-All-2 (OFAv2),
have been developed to mitigate these challenges. While maintaining exceptional
performance and eliminating the need for retraining, they aim to build a single
super-network model capable of directly extracting sub-networks satisfying
different constraints. Neural Architecture Transfer (NAT) was developed to
maximise the effectiveness of extracting sub-networks from a super-network. In
this paper, we present NATv2, an extension of NAT that improves multi-objective
search algorithms applied to dynamic super-network architectures. NATv2
achieves qualitative improvements in the extractable sub-networks by exploiting
the improved super-networks generated by OFAv2 and incorporating new policies
for initialisation, pre-processing and updating its networks archive. In
addition, a post-processing pipeline based on fine-tuning is introduced.
Experimental results show that NATv2 successfully improves NAT and is highly
recommended for investigating high-performance architectures with a minimal
number of parameters.
- Abstract（参考訳）: 深層学習は現代社会の様々な側面にますます影響を与えている。
人工知能は、幅広いタスクを解決する主要なモデルとして登場してきた。
タスク最適化ネットワークの自動設計を可能にするニューラル・アーキテクチャ・サーチ(nas)技術の導入は、目覚ましい進歩をもたらした。
しかし、nasプロセスは通常、長い実行時間と重要な計算リソース要求と関連している。
once-For-All (OFA) とその後継である Once-For-All-2 (OFAv2) はこれらの課題を軽減するために開発された。
例外的な性能を維持しながら、異なる制約を満たすサブネットワークを直接抽出できる単一のスーパーネットワークモデルを構築することを目指している。
ニューラルネットワーク転送(NAT)は,スーパーネットワークからサブネットワークを抽出する効率を最大化するために開発された。
本稿では,動的スーパーネットワークアーキテクチャに適用された多目的探索アルゴリズムを改善するNATの拡張であるNATv2を提案する。
NATv2はOFAv2によって生成された改良されたスーパーネットワークを活用し、ネットワークアーカイブの初期化、前処理、更新のための新しいポリシーを導入することで、抽出可能なサブネットワークの質的な改善を実現している。
さらに、微調整に基づく後処理パイプラインも導入されている。
実験結果から,NATv2はNATの改善に成功し,最小限のパラメータを持つ高性能アーキテクチャの探索に極めて推奨されている。
関連論文リスト
- Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。
本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
論文 参考訳（メタデータ） (2024-06-03T07:44:37Z) - Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。
総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2024-03-21T02:33:37Z) - SimQ-NAS: Simultaneous Quantization Policy and Neural Architecture
Search [6.121126813817338]
最近のワンショットニューラルネットワーク検索アルゴリズムは、特定のタスクに適したハードウェアに依存しないスーパーネットワークをトレーニングし、異なるハードウェアプラットフォームのための効率的なサブネットワークを抽出する。
我々は,光学習された予測器と組み合わせた多目的探索アルゴリズムを用いることで,サブネットワークアーキテクチャとそれに対応する量子化ポリシーの両方を効率的に探索できることを示す。
論文 参考訳（メタデータ） (2023-12-19T22:08:49Z) - OTOv3: Automatic Architecture-Agnostic Neural Network Training and
Compression from Structured Pruning to Erasing Operators [57.145175475579315]
このトピックは、構造化プルーニングからニューラルアーキテクチャサーチまで、さまざまなテクニックにまたがっている。
第3世代のOTOv3(Noth-Train-Once)を導入する。
我々は,構造化プルーニングとニューラルアーキテクチャ探索におけるOTOv3の有効性を実証した。
論文 参考訳（メタデータ） (2023-12-15T00:22:55Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Enhancing Once-For-All: A Study on Parallel Blocks, Skip Connections and
Early Exits [7.0895962209555465]
once-For-All (OFA) は、容易に適応可能なモデルを生成する能力によって特徴づけられるエコフレンドリーなアルゴリズムである。
OFAは、アーリーエグジット、並列ブロック、高密度スキップ接続を含むことで、アーキテクチャの観点から改善されている。
OFAAv2は、Tiny ImageNetデータセットの精度をOFAのオリジナルバージョンと比較して最大12.07%改善している。
論文 参考訳（メタデータ） (2023-02-03T17:53:40Z) - RDRN: Recursively Defined Residual Network for Image Super-Resolution [58.64907136562178]
深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像において顕著な性能を得た。
本稿では,注目ブロックを効率的に活用する新しいネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-11-17T11:06:29Z) - E2-AEN: End-to-End Incremental Learning with Adaptively Expandable
Network [57.87240860624937]
本稿では,E2-AENという,エンドツーエンドのトレーニング可能な適応拡張可能なネットワークを提案する。
以前のタスクの精度を落とさずに、新しいタスクのための軽量な構造を動的に生成する。
E2-AENはコストを削減し、あらゆるフィードフォワードアーキテクチャをエンドツーエンドで構築できる。
論文 参考訳（メタデータ） (2022-07-14T09:04:51Z) - Proxyless Neural Architecture Adaptation for Supervised Learning and
Self-Supervised Learning [3.766702945560518]
本稿では、再現性と効率のよいプロキシレスニューラルアーキテクチャ適応を提案する。
本手法は,教師付き学習と自己教師型学習の両方に適用できる。
論文 参考訳（メタデータ） (2022-05-15T02:49:48Z) - Orthogonalized SGD and Nested Architectures for Anytime Neural Networks [30.598394152055338]
直交化SGDはマルチタスクネットワークをトレーニングする際のタスク固有の勾配を動的に再バランスさせる。
実験により、オルソゴン化SGDによるトレーニングは、任意の時間ネットワークの精度を大幅に向上することが示された。
論文 参考訳（メタデータ） (2020-08-15T03:06:34Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。