論文の概要: SAE: Single Architecture Ensemble Neural Networks
- arxiv url: http://arxiv.org/abs/2402.06580v1
- Date: Fri, 9 Feb 2024 17:55:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 15:49:10.585822
- Title: SAE: Single Architecture Ensemble Neural Networks
- Title(参考訳): SAE: ニューラルネットワークを組み込んだ単一アーキテクチャ
- Authors: Martin Ferianc, Hongxiang Fan, Miguel Rodrigues
- Abstract要約: 異なるニューラルネットワーク(NN)のアンサンブルは、タスク間の単一NNよりも精度と信頼性のキャリブレーションが優れている。
近年の手法では、早期出口やマルチインプット・マルチアウトプット・フレームワークを通じて単一のネットワーク内でアンサンブルを圧縮している。
我々はこれらのアプローチを単一アーキテクチャアンサンブル(SAE)に統合する新しい手法を提案する。
- 参考スコア(独自算出の注目度): 7.8805195998276165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ensembles of separate neural networks (NNs) have shown superior accuracy and
confidence calibration over single NN across tasks. Recent methods compress
ensembles within a single network via early exits or multi-input multi-output
frameworks. However, the landscape of these methods is fragmented thus far,
making it difficult to choose the right approach for a given task. Furthermore,
the algorithmic performance of these methods is behind the ensemble of separate
NNs and requires extensive architecture tuning. We propose a novel methodology
unifying these approaches into a Single Architecture Ensemble (SAE). Our method
learns the optimal number and depth of exits per ensemble input in a single NN.
This enables the SAE framework to flexibly tailor its configuration for a given
architecture or application. We evaluate SAEs on image classification and
regression across various network architecture types and sizes. We demonstrate
competitive accuracy or confidence calibration to baselines while reducing the
compute operations or parameter count by up to $1.5{\sim}3.7\times$.
- Abstract(参考訳): 異なるニューラルネットワーク(NN)のアンサンブルは、タスク間の単一NNよりも精度と信頼性のキャリブレーションが優れている。
最近の手法では、初期エグジットやマルチ入力マルチアウトプットフレームワークを介して単一のネットワーク内でアンサンブルを圧縮している。
しかし、これらの手法の状況は断片化されており、与えられたタスクに対して適切なアプローチを選択することは困難である。
さらに、これらの手法のアルゴリズム性能は、異なるNNのアンサンブルの背後にあり、広範なアーキテクチャチューニングを必要とする。
本稿では,これらのアプローチを単一アーキテクチャアンサンブル(SAE)に統合する手法を提案する。
本手法は,単一NNにおいてアンサンブル入力毎に最適な出口数と深さを学習する。
これにより、saeフレームワークは、所定のアーキテクチャやアプリケーションの構成を柔軟に調整できる。
我々は,様々なネットワークアーキテクチャタイプとサイズにわたる画像分類と回帰に関するsaeを評価する。
計算演算やパラメータカウントを最大1.5{\sim}3.7\times$に削減しながら、ベースラインに対する競合精度や信頼性の校正を実証する。
関連論文リスト
- OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural
Architecture Search [79.36688444492405]
once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。
我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
論文 参考訳(メタデータ) (2023-03-23T21:30:29Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2022-10-23T18:37:22Z) - Deep Neural Networks pruning via the Structured Perspective
Regularization [5.061851539114448]
機械学習では、ニューラルネットワーク(ANN)は非常に強力なツールであり、多くのアプリケーションで広く使われている。
ANN(リンク、ノード、チャネル、ldots)のすべての要素と対応する重みが削除される。
問題の性質は本質的に(プルーンの要素とそうでない要素)であるので,オペレーショナルリサーチツールに基づく新たなプルーニング手法を提案する。
論文 参考訳(メタデータ) (2022-06-28T14:58:51Z) - Pruning-as-Search: Efficient Neural Architecture Search via Channel
Pruning and Structural Reparameterization [50.50023451369742]
プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。
提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
論文 参考訳(メタデータ) (2022-06-02T17:58:54Z) - IDmUNet: A new image decomposition induced network for sparse feature
segmentation [5.038878606043249]
UNetとその変種は、医用画像セグメンテーションの最も一般的な方法の一つである。
我々はタスク指向のネットワーク設計を行い、対象のオブジェクトを疎に分散させ、背景を数学的にモデル化することは困難である。
このIDmUNetは、構造設計における事前および深部展開の手法のため、数学的モデリングとデータ駆動アプローチの利点を組み合わせたものである。
論文 参考訳(メタデータ) (2022-03-05T09:17:32Z) - Only Train Once: A One-Shot Neural Network Training And Pruning
Framework [31.959625731943675]
構造化プルーニング(Structured pruning)は、リソース制約のあるデバイスにディープニューラルネットワーク(DNN)をデプロイする際に一般的に使用されるテクニックである。
我々は,DNNが競争性能と,OTO(Not-Train-Once)によるFLOPの大幅な削減に敏感なフレームワークを提案する。
OTOには2つのキーが含まれている: (i) DNNのパラメータをゼロ不変群に分割し、出力に影響を与えることなくゼロ群をプルークすることができる; (ii)ゼロ群をプロモートするために、構造化画像最適化アルゴリズムであるHalf-Space Projected (HSPG)を定式化する。
OTOの有効性を示すために、私たちはトレーニングとトレーニングを行います。
論文 参考訳(メタデータ) (2021-07-15T17:15:20Z) - Embedded Self-Distillation in Compact Multi-Branch Ensemble Network for
Remote Sensing Scene Classification [17.321718779142817]
本稿では,特徴表現能力を向上させるマルチブランチアンサンブルネットワークを提案する。
自己蒸留法(SD)を組み込んで,アンサンブルネットワークからメインブランチへ知識を伝達する。
その結果,提案するESD-MBENetは,従来のSOTA(State-of-the-art)モデルよりも精度が高いことがわかった。
論文 参考訳(メタデータ) (2021-04-01T03:08:52Z) - Learning Versatile Neural Architectures by Propagating Network Codes [74.2450894473073]
アーキテクチャの性能を複数のデータセットやタスクで予測できる新しい「神経予測器」を提案する。
ncpはネットワークコードから学習するが、オリジナルデータではないため、データセット間で効率的にアーキテクチャを更新することができる。
論文 参考訳(メタデータ) (2021-03-24T15:20:38Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳(メタデータ) (2021-03-10T03:59:03Z) - DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。
ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文 参考訳(メタデータ) (2020-05-29T09:02:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。