論文の概要: Network Augmentation for Tiny Deep Learning

• arxiv url: http://arxiv.org/abs/2110.08890v1
• Date: Sun, 17 Oct 2021 18:48:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 13:25:18.765029
• Title: Network Augmentation for Tiny Deep Learning
• Title（参考訳）: Tiny Deep Learningのためのネットワーク拡張
• Authors: Han Cai, Chuang Gan, Ji Lin, Song Han
• Abstract要約: ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。 画像分類と物体検出におけるNetAugの有効性を示す。
• 参考スコア（独自算出の注目度）: 73.57192520534585
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce Network Augmentation (NetAug), a new training method for improving the performance of tiny neural networks. Existing regularization techniques (e.g., data augmentation, dropout) have shown much success on large neural networks (e.g., ResNet50) by adding noise to overcome over-fitting. However, we found these techniques hurt the performance of tiny neural networks. We argue that training tiny models are different from large models: rather than augmenting the data, we should augment the model, since tiny models tend to suffer from under-fitting rather than over-fitting due to limited capacity. To alleviate this issue, NetAug augments the network (reverse dropout) instead of inserting noise into the dataset or the network. It puts the tiny model into larger models and encourages it to work as a sub-model of larger models to get extra supervision, in addition to functioning as an independent model. At test time, only the tiny model is used for inference, incurring zero inference overhead. We demonstrate the effectiveness of NetAug on image classification and object detection. NetAug consistently improves the performance of tiny models, achieving up to 2.1% accuracy improvement on ImageNet, and 4.3% on Cars. On Pascal VOC, NetAug provides 2.96% mAP improvement with the same computational cost.
• Abstract（参考訳）: 本稿では,小型ニューラルネットワークの性能向上のための新しい学習手法であるネットワーク拡張(netaug)を提案する。 既存の正規化技術(例えば、データ拡張、ドロップアウト)は、過適合を克服するためにノイズを追加することで、大規模なニューラルネットワーク(例えば、ResNet50)で大きな成功を収めている。 しかし、これらの技術が小さなニューラルネットワークの性能を損なうことがわかった。 私たちは、小さなモデルをトレーニングすることは、大きなモデルと違う、と主張する。 データを拡張するのではなく、モデルを強化するべきだ。 この問題を軽減するため、NetAugはデータセットやネットワークにノイズを挿入する代わりに、ネットワーク(リバースドロップアウト)を拡張する。 小さなモデルを大きなモデルに置き、独立したモデルとして機能するだけでなく、より大きなモデルのサブモデルとして機能するように促す。 テスト時には、推論には小さなモデルのみを使用し、推論オーバーヘッドはゼロになる。 画像分類と物体検出におけるNetAugの有効性を示す。 NetAugは小さなモデルの性能を一貫して改善し、ImageNetでは2.1%、車では4.3%の精度向上を実現している。 Pascal VOCでは、NetAugは同じ計算コストで2.96%のmAP改善を提供する。

関連論文リスト

• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Small-footprint slimmable networks for keyword spotting [3.0825815617887415]
  我々は、スリムなニューラルネットワークによって、Convolutioanl Neural NetworksとTransformerからスーパーネットを作成することができることを示した。 これらのモデルが社内のAlexaデータとGoogle Speech Commandsで有用であることを示し、オンデバイスユースケースのモデルに注力する。
  論文  参考訳（メタデータ） (2023-04-21T12:59:37Z)
• Establishing a stronger baseline for lightweight contrastive models [10.63129923292905]
  最近の研究は、特別に設計された効率的なネットワークのための自己指導型コントラスト学習の性能劣化を報告している。 一般的な実践は、事前訓練された対照的な教師モデルを導入し、教師が生成した蒸留信号で軽量ネットワークを訓練することである。 本研究では,教師モデルの事前学習を使わずに,軽量コントラストモデルのための強力なベースラインを確立することを目的とする。
  論文  参考訳（メタデータ） (2022-12-14T11:20:24Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• T-RECX: Tiny-Resource Efficient Convolutional neural networks with early-eXit [0.0]
  本稿では,早期出口中間分類器の追加により早期出口中間分類器が拡張可能であることを示す。 我々の技術は、小型CNNモデルに特化している。 その結果, T-RecX 1) はベースラインネットワークの精度を向上し, 2) FLOPS の平均 31.58% の削減を実現した。
  論文  参考訳（メタデータ） (2022-07-14T02:05:43Z)
• LilNetX: Lightweight Networks with EXtreme Model Compression and Structured Sparsification [36.651329027209634]
  LilNetXは、ニューラルネットワークのためのエンドツーエンドのトレーニング可能なテクニックである。 特定の精度-レート-計算トレードオフを持つ学習モデルを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T17:59:10Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Learnable Expansion-and-Compression Network for Few-shot Class-Incremental Learning [87.94561000910707]
  破滅的忘れとモデルオーバーフィッティングの問題を解決するための学習可能な拡張・圧縮ネットワーク(LEC-Net)を提案する。 LEC-Netは機能の表現能力を拡大し、モデル正規化の観点から古いネットワークの特徴漂流を緩和します。 CUB/CIFAR-100データセットの実験では、LEC-Netがベースラインを57%改善し、最先端の56%を上回ります。
  論文  参考訳（メタデータ） (2021-04-06T04:34:21Z)
• Model Rubik's Cube: Twisting Resolution, Depth and Width for TinyNets [65.28292822614418]
  解像度、深さ、幅を同時に拡大する巨大な公式は、ニューラルネットワークのためのルービックキューブを提供する。 本稿では,最小モデルサイズと計算コストで深層ニューラルネットワークを得るためのツイストルールを検討することを目的とする。
  論文  参考訳（メタデータ） (2020-10-28T08:49:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。