論文の概要: RevBiFPN: The Fully Reversible Bidirectional Feature Pyramid Network
- arxiv url: http://arxiv.org/abs/2206.14098v2
- Date: Fri, 28 Apr 2023 23:54:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 19:58:44.659689
- Title: RevBiFPN: The Fully Reversible Bidirectional Feature Pyramid Network
- Title（参考訳）: revbifpn: 完全に可逆な双方向機能ピラミッドネットワーク
- Authors: Vitaliy Chiley, Vithursan Thangarasa, Abhay Gupta, Anshul Samar, Joel
Hestness, Dennis DeCoste
- Abstract要約: RevSiloは、最初の可逆的マルチスケール機能融合モジュールである。
完全に可逆な双方向特徴ピラミッドネットワークであるRevBiFPNを開発した。
RevBiFPNは、少ないMACと2.4倍のトレーニング時間メモリを使用して、HRNet上のAPを最大2.5%向上させる。
- 参考スコア（独自算出の注目度）: 3.54359747576165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work introduces RevSilo, the first reversible bidirectional multi-scale
feature fusion module. Like other reversible methods, RevSilo eliminates the
need to store hidden activations by recomputing them. However, existing
reversible methods do not apply to multi-scale feature fusion and are,
therefore, not applicable to a large class of networks. Bidirectional
multi-scale feature fusion promotes local and global coherence and has become a
de facto design principle for networks targeting spatially sensitive tasks,
e.g., HRNet (Sun et al., 2019a) and EfficientDet (Tan et al., 2020). These
networks achieve state-of-the-art results across various computer vision tasks
when paired with high-resolution inputs. However, training them requires
substantial accelerator memory for saving large, multi-resolution activations.
These memory requirements inherently cap the size of neural networks, limiting
improvements that come from scale. Operating across resolution scales, RevSilo
alleviates these issues. Stacking RevSilos, we create RevBiFPN, a fully
reversible bidirectional feature pyramid network. RevBiFPN is competitive with
networks such as EfficientNet while using up to 19.8x lesser training memory
for image classification. When fine-tuned on MS COCO, RevBiFPN provides up to a
2.5% boost in AP over HRNet using fewer MACs and a 2.4x reduction in
training-time memory.
- Abstract（参考訳）: この研究は、初の可逆的双方向機能融合モジュールであるRevSiloを紹介する。
他のリバーシブルメソッドと同様に、revsiloは再計算によって隠れたアクティベーションを保存する必要がなくなる。
しかし、既存の可逆的手法はマルチスケールな特徴融合には適用されないため、大規模なネットワークには適用できない。
双方向のマルチスケール機能融合は局所的およびグローバルなコヒーレンスを促進し、HRNet(Sun et al., 2019a)やEfficientDet(Tan et al., 2020)といった空間的に敏感なタスクをターゲットにしたネットワークのデファクト設計原則となっている。
これらのネットワークは、高解像度入力と組み合わせることで、様々なコンピュータビジョンタスクで最先端の結果が得られる。
しかし、トレーニングには、大規模なマルチレゾリューションアクティベーションを保存するために、かなりのアクセラレーションメモリが必要である。
これらのメモリ要件は、本質的にニューラルネットワークのサイズを制限し、スケールによる改善を制限する。
解像度スケールで動作し、revsiloはこれらの問題を緩和する。
RevSilosを積み重ねて、完全に可逆的な双方向特徴ピラミッドネットワークであるRevBiFPNを作成します。
RevBiFPNは、画像分類に最大19.8倍のトレーニングメモリを使用しながら、EfficientNetのようなネットワークと競合する。
MS COCOを微調整すると、RevBiFPNは最大2.5%のAPをHRNetにアップし、MACを減らし、トレーニング時間メモリを2.4倍削減する。
関連論文リスト
- Tiled Bit Networks: Sub-Bit Neural Network Compression Through Reuse of Learnable Binary Vectors [4.95475852994362]
本稿では,バイナリ重み付きニューラルネットワークのサブビット圧縮を実現するために,ビット列を持つタイル型ニューラルネットワーク層に対する新しい量子化方式を提案する。
私たちは完全に接続された層と畳み込み層の両方にアプローチを採用しています。
論文 参考訳（メタデータ） (2024-07-16T15:55:38Z) - FBPT: A Fully Binary Point Transformer [12.373066597900127]
本稿では,ロボット工学やモバイルデバイスの分野で広く応用され拡張される可能性を持つ,FBPT(Fully Binary Point Cloud Transformer)モデルを提案する。
32ビットの完全精度ネットワークの重みとアクティベーションを1ビットのバイナリ値に圧縮することにより、提案したバイナリポイントクラウドトランスフォーマーネットワークは、ストレージフットプリントと計算リソースの要求を大幅に削減する。
本稿の主な焦点は、バイナリポイントクラウドトランスフォーマーモジュールの使用によるパフォーマンス劣化問題に対処することである。
論文 参考訳（メタデータ） (2024-03-15T03:45:10Z) - LR-CNN: Lightweight Row-centric Convolutional Neural Network Training
for Memory Reduction [21.388549904063538]
多層構造を持つ畳み込みニューラルネットワークは急速に進歩している。
現在の取り組みは、追加のハードウェアコストによる外部補助ソリューションによるボトルネックの緩和と、潜在的な精度のペナルティによる内部修正によって緩和されている。
従来のレイヤ・バイ・レイヤ(カラム)データフロールールを破ります。現在では,すべての畳み込みレイヤを通じて,新たな操作が行に再編成されています。
この軽量な設計により、ほとんどの中間データを精度を損なうことなく取り除くことができる。
論文 参考訳（メタデータ） (2024-01-21T12:19:13Z) - Dr$^2$Net: Dynamic Reversible Dual-Residual Networks for Memory-Efficient Finetuning [81.0108753452546]
本稿では,メモリ消費を大幅に削減した事前学習モデルを微調整するために,動的可逆2次元ネットワーク(Dr$2$Net)を提案する。
Dr$2$Netは2種類の残差接続を含み、1つは事前訓練されたモデルの残差構造を維持し、もう1つはネットワークを可逆的にしている。
Dr$2$Netは従来の微調整に匹敵する性能を持つが、メモリ使用量は大幅に少ない。
論文 参考訳（メタデータ） (2024-01-08T18:59:31Z) - BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to
Real-Network Performance [54.214426436283134]
Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。
我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。
小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
論文 参考訳（メタデータ） (2022-11-13T18:31:45Z) - BiFSMN: Binary Neural Network for Keyword Spotting [47.46397208920726]
BiFSMNは、KWSのための正確かつ極効率のバイナリニューラルネットワークである。
実世界のエッジハードウェアにおいて,BiFSMNは22.3倍の高速化と15.5倍のストレージ節約を実現可能であることを示す。
論文 参考訳（メタデータ） (2022-02-14T05:16:53Z) - A^2-FPN: Attention Aggregation based Feature Pyramid Network for
Instance Segmentation [68.10621089649486]
アテンションアグリゲーションに基づく機能ピラミッドネットワーク(A2-FPN)を提案し、マルチスケール機能学習を改善します。
A2-FPNは、Cascade Mask R-CNNやHybrid Task Cascadeといった強力なベースラインに統合された場合、2.0%と1.4%のマスクAPを改善する。
論文 参考訳（メタデータ） (2021-05-07T11:51:08Z) - CondenseNet V2: Sparse Feature Reactivation for Deep Networks [87.38447745642479]
高密度接続によるディープネットワークの機能再利用は、高い計算効率を達成する効果的な方法である。
スパース機能再活性化(SFR)と呼ばれる代替アプローチを提案し、再利用機能の有用性を積極的に高めることを目指しています。
提案手法は画像分類(ImageNet, CIFAR)とオブジェクト検出(MSCOCO)において,理論的効率と実用的速度の両面で有望な性能を達成できることを示す。
論文 参考訳（メタデータ） (2021-04-09T14:12:43Z) - Invertible Residual Network with Regularization for Effective Medical
Image Segmentation [2.76240219662896]
バックプロパゲーションを用いたニューラルネットワークのトレーニングにおいて、アクティベーションメモリフットプリントを大幅に削減するために、可逆ニューラルネットワークが適用されている。
可逆残存ネットワーク(部分可逆残存ネットワーク, Partially-InvRes)と完全可逆残存ネットワーク(Fully-InvRes)の2つのバージョンを提案する。
この結果から,部分可逆ネットワークをボリュームセグメンテーションの中心として用いることにより,メモリオーバヘッドを削減できるだけでなく,非可逆的3d unetと同等なセグメンテーション性能を実現することができた。
論文 参考訳（メタデータ） (2021-03-16T13:19:59Z) - MicroNet: Towards Image Recognition with Extremely Low FLOPs [117.96848315180407]
MicroNetは計算コストの極めて低い効率的な畳み込みニューラルネットワークである。
MicroNetのファミリは、低いFLOP体制における最先端技術よりも大きなパフォーマンス向上を実現している。
例えば、MicroNet-M1は12のMFLOPを持つImageNet分類において61.1%のトップ-1の精度を達成し、MobileNetV3を11.3%上回っている。
論文 参考訳（メタデータ） (2020-11-24T18:59:39Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2020-03-07T02:12:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。