Fugu-MT 論文翻訳(概要): Making Models Shallow Again: Jointly Learning to Reduce Non-Linearity and Depth for Latency-Efficient Private Inference

論文の概要: Making Models Shallow Again: Jointly Learning to Reduce Non-Linearity and Depth for Latency-Efficient Private Inference

arxiv url: http://arxiv.org/abs/2304.13274v1
Date: Wed, 26 Apr 2023 04:23:34 GMT
ステータス: 処理完了
システム内更新日: 2023-04-27 15:38:47.187629
Title: Making Models Shallow Again: Jointly Learning to Reduce Non-Linearity and Depth for Latency-Efficient Private Inference
Title（参考訳）: モデルが再び浅くなる: 遅延効率の良いプライベート推論のための非線形性と深度を共同学習する
Authors: Souvik Kundu, Yuke Zhang, Dake Chen, Peter A. Beerel
Abstract要約: 本稿では,モデルの浅さを学習するためのモデル最適化手法を提案する。畳み込みブロックのReLU感度を利用して、ReLU層を除去し、それに続く畳み込み層と先行する畳み込み層を浅いブロックにマージする。
参考スコア（独自算出の注目度）: 6.141267142478346
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large number of ReLU and MAC operations of Deep neural networks make them ill-suited for latency and compute-efficient private inference. In this paper, we present a model optimization method that allows a model to learn to be shallow. In particular, we leverage the ReLU sensitivity of a convolutional block to remove a ReLU layer and merge its succeeding and preceding convolution layers to a shallow block. Unlike existing ReLU reduction methods, our joint reduction method can yield models with improved reduction of both ReLUs and linear operations by up to 1.73x and 1.47x, respectively, evaluated with ResNet18 on CIFAR-100 without any significant accuracy-drop.
Abstract（参考訳）: ディープニューラルネットワークの多数のReLUとMAC操作は、レイテンシと計算効率のよいプライベート推論に不適である。本稿では,モデルの浅さを学習するためのモデル最適化手法を提案する。特に、畳み込みブロックのReLU感度を利用して、ReLU層を除去し、それに続く畳み込み層と先行する畳み込み層を浅いブロックにマージする。従来のReLU削減法と異なり,CIFAR-100上でのResNet18を用いて,ReLUと線形演算を最大1.73倍,1.47倍に削減したモデルが得られる。

関連論文リスト

Determining Layer-wise Sparsity for Large Language Models Through a Theoretical Perspective [55.90119819642064]
本稿では,大規模言語モデル (LLM) の階層的疎度率を理論的観点から決定する上での課題に対処する。これは、スペーサー化プロセス全体での再構成エラーの累積効果を指す。この問題を緩和するレイヤワイド・スパシティ・アロケーションに対する、シンプルで効果的なアプローチを導出します。
論文参考訳（メタデータ） (2025-02-20T17:51:10Z)
Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文参考訳（メタデータ） (2023-09-26T17:42:52Z)
Accelerating Deep Neural Networks via Semi-Structured Activation Sparsity [0.0]
ネットワークの機能マップにスパシティを爆発させることは、推論のレイテンシを低減する方法の1つです。そこで本研究では,セミ構造化されたアクティベーション空間を小さなランタイム修正によって活用する手法を提案する。当社のアプローチでは,ImageNetデータセット上のResNet18モデルに対して,最小精度が1.1%の1.25倍の速度向上を実現している。
論文参考訳（メタデータ） (2023-09-12T22:28:53Z)
Neural Poisson Surface Reconstruction: Resolution-Agnostic Shape Reconstruction from Point Clouds [53.02191521770926]
我々は,3次元形状を点から復元するという課題に対処する形状再構成アーキテクチャであるニューラルポアソン表面再構成(nPSR)を導入する。 nPSRには2つの大きな利点がある: まず、高分解能評価において同等の性能を達成しつつ、低分解能データの効率的なトレーニングを可能にする。全体として、ニューラル・ポアソン表面の再構成は、形状再構成における古典的なディープニューラルネットワークの限界を改良するだけでなく、再構築品質、走行時間、分解能非依存の観点からも優れた結果が得られる。
論文参考訳（メタデータ） (2023-08-03T13:56:07Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
Learning to Linearize Deep Neural Networks for Secure and Efficient Private Inference [5.293553970082942]
既存のReLU操作を減らす技術は、しばしば手作業と精度を犠牲にする。まず、非線形層のReLU感度の新たな尺度を示し、時間を要する手作業の軽減を可能にする。次に、レイヤごとのReLU数を自動割り当てし、各レイヤのアクティベーションマップのReLU位置を決定し、ReLUをはるかに少ないモデルでトレーニングする3段階トレーニング手法SENetを提案する。
論文参考訳（メタデータ） (2023-01-23T03:33:38Z)
Controlled Sparsity via Constrained Optimization or: How I Learned to Stop Tuning Penalties and Love Constraints [81.46143788046892]
スパースラーニングを行う際には,スパーシティのレベルを制御するタスクに焦点をあてる。スパーシリティを誘発する罰則に基づく既存の方法は、ペナルティファクターの高価な試行錯誤チューニングを含む。本稿では,学習目標と所望のスパーシリティ目標によって,エンドツーエンドでスペーシフィケーションをガイドする制約付き定式化を提案する。
論文参考訳（メタデータ） (2022-08-08T21:24:20Z)
Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model Classes and Cone Decompositions [41.337814204665364]
ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化アルゴリズムを開発した。凸ゲート型ReLUモデルでは,ReLUトレーニング問題に対するデータ依存の近似バウンダリが得られることを示す。
論文参考訳（メタデータ） (2022-02-02T23:50:53Z)
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
論文参考訳（メタデータ） (2021-12-07T13:41:51Z)
Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文参考訳（メタデータ） (2021-10-20T06:15:45Z)
Interpretable Deep Recurrent Neural Networks via Unfolding Reweighted $\ell_1$-$\ell_1$ Minimization: Architecture Design and Generalization Analysis [19.706363403596196]
本稿では、再重み付き最小化アルゴリズムの展開により、新しいディープリカレントニューラルネットワーク(coined reweighted-RNN)を開発する。我々の知る限りでは、これは再重み付け最小化を探求する最初の深層展開法である。移動MNISTデータセットの実験結果から,提案した深度再重み付きRNNは既存のRNNモデルよりも大幅に優れていた。
論文参考訳（メタデータ） (2020-03-18T17:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。