Fugu-MT 論文翻訳(概要): Learning Robust and Lightweight Model through Separable Structured Transformations

論文の概要: Learning Robust and Lightweight Model through Separable Structured Transformations

arxiv url: http://arxiv.org/abs/2112.13551v1
Date: Mon, 27 Dec 2021 07:25:26 GMT
ステータス: 処理完了
システム内更新日: 2021-12-28 15:56:45.990606
Title: Learning Robust and Lightweight Model through Separable Structured Transformations
Title（参考訳）: 分離構造変換によるロバスト・軽量モデルの学習
Authors: Yanhui Huang, Yangyu Xu and Xian Wei
Abstract要約: 本稿では、畳み込みニューラルネットワークのパラメータを低減するために、完全連結層を分離可能な構造変換を提案する。ネットワークパラメータの90%削減に成功し、ロバストな精度損失は1.5%未満である。我々は、ImageNet、SVHN、CIFAR-100、Vision Transformerなどのデータセットに対する提案手法を評価する。
参考スコア（独自算出の注目度）: 6.403862158940735
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With the proliferation of mobile devices and the Internet of Things, deep learning models are increasingly deployed on devices with limited computing resources and memory, and are exposed to the threat of adversarial noise. Learning deep models with both lightweight and robustness is necessary for these equipments. However, current deep learning solutions are difficult to learn a model that possesses these two properties without degrading one or the other. As is well known, the fully-connected layers contribute most of the parameters of convolutional neural networks. We perform a separable structural transformation of the fully-connected layer to reduce the parameters, where the large-scale weight matrix of the fully-connected layer is decoupled by the tensor product of several separable small-sized matrices. Note that data, such as images, no longer need to be flattened before being fed to the fully-connected layer, retaining the valuable spatial geometric information of the data. Moreover, in order to further enhance both lightweight and robustness, we propose a joint constraint of sparsity and differentiable condition number, which is imposed on these separable matrices. We evaluate the proposed approach on MLP, VGG-16 and Vision Transformer. The experimental results on datasets such as ImageNet, SVHN, CIFAR-100 and CIFAR10 show that we successfully reduce the amount of network parameters by 90%, while the robust accuracy loss is less than 1.5%, which is better than the SOTA methods based on the original fully-connected layer. Interestingly, it can achieve an overwhelming advantage even at a high compression rate, e.g., 200 times.
Abstract（参考訳）: モバイルデバイスやモノのインターネットの普及に伴い、ディープラーニングモデルは、限られたコンピューティングリソースとメモリを持つデバイスにますますデプロイされ、敵対的ノイズの脅威にさらされている。これらの機器には軽量で堅牢な深層モデルを学ぶ必要がある。しかし、現在のディープラーニングソリューションでは、これら2つの特性を持つモデルを、どちらか一方を劣化させることなく学習することは困難である。よく知られているように、完全連結層は畳み込みニューラルネットワークのパラメータの大半に寄与する。そこでは, 完全連結層の大規模重み行列を, 分離可能な小型行列のテンソル積で分解し, パラメータを小さくするために, 完全連結層の分離可能な構造変換を行う。画像などのデータは、完全に接続された層に供給される前にフラット化される必要がなくなり、データの貴重な空間幾何学的情報を保持することに注意されたい。さらに, 軽量性, 堅牢性を両立させるため, これらの分離可能な行列に課される疎度と微分可能な条件数の合同制約を提案する。 MLP, VGG-16, Vision Transformer に対する提案手法の評価を行った。 ImageNet, SVHN, CIFAR-100, CIFAR10などのデータセットを用いた実験結果から, ネットワークパラメータの90%削減に成功し, 頑健な精度損失は1.5%未満であり, 元の完全接続層に基づくSOTA法よりも優れていることがわかった。興味深いことに、200倍のような高い圧縮速度でも圧倒的な利点が得られる。

関連論文リスト

Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
論文参考訳（メタデータ） (2024-09-26T13:38:33Z)
Lightweight single-image super-resolution network based on dual paths [0.552480439325792]
ディープラーニングのシングルイメージ超解像(SISR)アルゴリズムには,畳み込みニューラルネットワークとTransformerに基づく2つのモデルがある。本稿では,2方向相補的畳み込みとトランスフォーマーに基づく,軽量なマルチスケール機能融合ネットワークモデルを提案する。
論文参考訳（メタデータ） (2024-09-10T15:31:37Z)
LiteNeXt: A Novel Lightweight ConvMixer-based Model with Self-embedding Representation Parallel for Medical Image Segmentation [2.0901574458380403]
医用画像分割のための軽量だが効率的な新しいモデル LiteNeXt を提案する。 LiteNeXtは、少量のパラメータ (0.71M) とギガ浮動小数点演算 (0.42) でスクラッチから訓練されている。
論文参考訳（メタデータ） (2024-04-04T01:59:19Z)
Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
論文参考訳（メタデータ） (2024-04-02T17:58:49Z)
Efficient Compression of Overparameterized Deep Models through Low-Dimensional Learning Dynamics [10.673414267895355]
本稿ではパラメータ化モデルを用いた新しい圧縮手法を提案する。本アルゴリズムは, 一般化を損なうことなく, トレーニング効率を2倍以上に向上させる。
論文参考訳（メタデータ） (2023-11-08T23:57:03Z)
Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。フェデレートラーニングにおいて最も顕著に用いられている。私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文参考訳（メタデータ） (2023-07-13T09:39:10Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
BiViT: Extremely Compressed Binary Vision Transformer [19.985314022860432]
両眼視変換器(BiViT)の地平線を推し進めるための2つの基本的な課題について提案する。本稿では,データ分布に動的に適応し,バイナライゼーションによる誤差を低減するソフトマックス対応バイナリ化を提案する。提案手法は,TinyImageNetデータセット上で,最先端技術に対して19.8%向上する。
論文参考訳（メタデータ） (2022-11-14T03:36:38Z)
Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文参考訳（メタデータ） (2021-08-28T20:39:54Z)
Basis Scaling and Double Pruning for Efficient Inference in Network-Based Transfer Learning [1.3467579878240454]
畳み込み層をフィルタとして正規基底ベクトルを持つ畳み込み層と、特徴を再スケーリングする"BasisScalingConv"層に分解する。 CIFAR-10では74.6%、MNISTでは98.9%のプルーニング比が得られる。
論文参考訳（メタデータ） (2021-08-06T00:04:02Z)
When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。