Fugu-MT 論文翻訳(概要): E2Net: Resource-Efficient Continual Learning with Elastic Expansion Network

論文の概要: E2Net: Resource-Efficient Continual Learning with Elastic Expansion Network

arxiv url: http://arxiv.org/abs/2309.16117v1
Date: Thu, 28 Sep 2023 02:48:13 GMT
ステータス: 処理完了
システム内更新日: 2023-09-29 18:19:01.298404
Title: E2Net: Resource-Efficient Continual Learning with Elastic Expansion Network
Title（参考訳）: E2Net:Elastic Expansion Networkによるリソース効率の良い継続的学習
Authors: RuiQi Liu, Boyu Diao, Libo Huang, Zhulin An and Yongjun Xu
Abstract要約: 本稿では,Elastic Expansion Network (E2Net) と呼ばれる資源効率のよい連続学習手法を提案する。 E2Netはより優れた平均精度を実現し、同じ計算と記憶の制約内での忘れを少なくする。本手法は,ストレージ要件と計算要件の両方において競合よりも優れる。
参考スコア（独自算出の注目度）: 24.732566251012422
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Continual Learning methods are designed to learn new tasks without erasing previous knowledge. However, Continual Learning often requires massive computational power and storage capacity for satisfactory performance. In this paper, we propose a resource-efficient continual learning method called the Elastic Expansion Network (E2Net). Leveraging core subnet distillation and precise replay sample selection, E2Net achieves superior average accuracy and diminished forgetting within the same computational and storage constraints, all while minimizing processing time. In E2Net, we propose Representative Network Distillation to identify the representative core subnet by assessing parameter quantity and output similarity with the working network, distilling analogous subnets within the working network to mitigate reliance on rehearsal buffers and facilitating knowledge transfer across previous tasks. To enhance storage resource utilization, we then propose Subnet Constraint Experience Replay to optimize rehearsal efficiency through a sample storage strategy based on the structures of representative networks. Extensive experiments conducted predominantly on cloud environments with diverse datasets and also spanning the edge environment demonstrate that E2Net consistently outperforms state-of-the-art methods. In addition, our method outperforms competitors in terms of both storage and computational requirements.
Abstract（参考訳）: 連続学習法は、以前の知識を根絶することなく新しいタスクを学ぶように設計されている。しかし,連続学習では高い計算能力と記憶能力を必要とすることが多い。本稿では,Elastic Expansion Network (E2Net) と呼ばれる資源効率のよい連続学習手法を提案する。コアサブネット蒸留と正確なリプレイサンプル選択を活用することで、e2netは、処理時間を最小化しながら、同じ計算およびストレージ制約内で優れた平均精度を達成し、忘れることを減らすことができる。 E2Netでは、パラメータ量を評価し、作業ネットワークと類似性を出力し、作業ネットワーク内の類似サブネットを蒸留することにより、リハーサルバッファへの依存を軽減し、以前のタスク間の知識伝達を容易にすることで、代表コアサブネットを識別する代表ネットワーク蒸留を提案する。記憶資源の利用性を高めるため,代表ネットワークの構造に基づくサンプル記憶戦略を用いて,リハーサル効率を最適化するSubnet Constraint Experience Replayを提案する。さまざまなデータセットを持つクラウド環境とエッジ環境にまたがる大規模な実験は、E2Netが一貫して最先端の手法より優れていることを示している。さらに,本手法は,ストレージ要件と計算条件の両方において競合よりも優れている。

関連論文リスト

PSE-Net: Channel Pruning for Convolutional Neural Networks with Parallel-subnets Estimator [16.698190973547362]
PSE-Net(英語版)は、効率的なチャネルプルーニングのための新しい並列サブネット推定器である。提案アルゴリズムは,スーパーネットトレーニングの効率化を実現する。本研究では,従来の進化探索の性能を高めるために,事前分散型サンプリングアルゴリズムを開発した。
論文参考訳（メタデータ） (2024-08-29T03:20:43Z)
Device Sampling and Resource Optimization for Federated Learning in Cooperative Edge Networks [17.637761046608]
フェデレーテッド・ラーニング(FedL)は、サーバによって定期的に集約されたローカルモデルをトレーニングすることで、機械学習(ML)をワーカーデバイスに分散させる。 FedLは、同時代の無線ネットワークの2つの重要な特徴を無視している: (i) ネットワークには異種通信/計算資源が含まれており、 (ii) デバイスのローカルデータ分布にかなりの重複がある可能性がある。デバイス間オフロード(D2D)によって補完されるインテリジェントデバイスサンプリングにより,これらの要因を共同で考慮する新しい最適化手法を開発した。
論文参考訳（メタデータ） (2023-11-07T21:17:59Z)
BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
論文参考訳（メタデータ） (2022-11-13T18:31:45Z)
Searching for Network Width with Bilaterally Coupled Network [75.43658047510334]
この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。本稿では,Channel-Bench-Macroというマクロ構造に対するオープンソースのワイド・ベンチマークを提案し,ワイド・サーチ・アルゴリズムの比較を行った。
論文参考訳（メタデータ） (2022-03-25T15:32:46Z)
CONetV2: Efficient Auto-Channel Size Optimization for CNNs [35.951376988552695]
本研究は,チャネルサイズのマイクロサーチ空間を調べることにより,計算制約のある環境において効率的な手法を提案する。チャネルサイズ最適化に際し、ネットワークの異なる接続層内の依存関係を抽出する自動アルゴリズムを設計する。また、テスト精度と高い相関性を持ち、個々のネットワーク層を解析できる新しいメトリクスも導入する。
論文参考訳（メタデータ） (2021-10-13T16:17:19Z)
BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
論文参考訳（メタデータ） (2021-05-21T18:54:03Z)
Compact CNN Structure Learning by Knowledge Distillation [34.36242082055978]
知識蒸留とカスタマイズ可能なブロックワイズ最適化を活用し、軽量なCNN構造を学習するフレームワークを提案する。提案手法は,予測精度の向上を図りながら,アートネットワーク圧縮の状態を再現する。特に,すでにコンパクトなネットワークであるMobileNet_v2では,モデル圧縮が最大2倍,モデル圧縮が5.2倍向上する。
論文参考訳（メタデータ） (2021-04-19T10:34:22Z)
Dynamic Slimmable Network [105.74546828182834]
ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。 ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
論文参考訳（メタデータ） (2021-03-24T15:25:20Z)
High-Capacity Expert Binary Networks [56.87581500474093]
ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
論文参考訳（メタデータ） (2020-10-07T17:58:10Z)
ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文参考訳（メタデータ） (2020-03-07T02:12:02Z)
Energy-efficient and Robust Cumulative Training with Net2Net Transformation [2.4283778735260686]
本研究では,精度の低下を招くことなく,計算効率のトレーニングを実現する累積学習戦略を提案する。まず、元のデータセットの小さなサブセット上で小さなネットワークをトレーニングし、その後徐々にネットワークを拡張します。実験により、スクラッチからのトレーニングと比較すると、累積的なトレーニングは計算複雑性を2倍に減らすことが示された。
論文参考訳（メタデータ） (2020-03-02T21:44:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。