論文の概要: Parameter Efficient Deep Neural Networks with Bilinear Projections
- arxiv url: http://arxiv.org/abs/2011.01391v1
- Date: Tue, 3 Nov 2020 00:17:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 05:11:19.759421
- Title: Parameter Efficient Deep Neural Networks with Bilinear Projections
- Title（参考訳）: 双線型射影を用いたパラメータ効率の高いディープニューラルネットワーク
- Authors: Litao Yu, Yongsheng Gao, Jun Zhou, Jian Zhang
- Abstract要約: 本稿では、従来の全射影を双線形射影に置き換えることで、ディープニューラルネットワーク(DNN)のパラメータ冗長性問題に対処する。
入力ノードが$D$と出力ノードが$D$である完全接続層では、双線形プロジェクションを適用することで、モデル空間の複雑さが軽減される。
4つのベンチマークデータセットの実験では、提案された双線形プロジェクションをディープニューラルネットワークに適用すると、さらに高い精度が得られることが示されている。
- 参考スコア（独自算出の注目度）: 16.628045837101237
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent research on deep neural networks (DNNs) has primarily focused on
improving the model accuracy. Given a proper deep learning framework, it is
generally possible to increase the depth or layer width to achieve a higher
level of accuracy. However, the huge number of model parameters imposes more
computational and memory usage overhead and leads to the parameter redundancy.
In this paper, we address the parameter redundancy problem in DNNs by replacing
conventional full projections with bilinear projections. For a fully-connected
layer with $D$ input nodes and $D$ output nodes, applying bilinear projection
can reduce the model space complexity from $\mathcal{O}(D^2)$ to
$\mathcal{O}(2D)$, achieving a deep model with a sub-linear layer size.
However, structured projection has a lower freedom of degree compared to the
full projection, causing the under-fitting problem. So we simply scale up the
mapping size by increasing the number of output channels, which can keep and
even boosts the model accuracy. This makes it very parameter-efficient and
handy to deploy such deep models on mobile systems with memory limitations.
Experiments on four benchmark datasets show that applying the proposed bilinear
projection to deep neural networks can achieve even higher accuracies than
conventional full DNNs, while significantly reduces the model size.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)に関する最近の研究は、主にモデルの精度の向上に焦点を当てている。
適切なディープラーニングフレームワークが与えられると、一般的に深度や層幅を増やして高い精度を達成することができる。
しかし、膨大な数のモデルパラメータは計算とメモリ使用のオーバーヘッドを増大させ、パラメータの冗長性につながる。
本稿では,従来の全射影を双線型射影に置き換え,dnnのパラメータ冗長性問題に対処する。
入力ノードが$d$、出力ノードが$d$である完全連結層の場合、双線型射影を適用するとモデル空間の複雑さが$\mathcal{o}(d^2)$から$\mathcal{o}(2d)$に減少し、サブリニアな層サイズを持つ深いモデルが得られる。
しかしながら、構造化射影は全射影と比較して程度の自由度が低く、不適合問題を引き起こす。
したがって、出力チャネルの数を増やしてマッピングのサイズを拡大するだけで、モデルの精度を維持および向上することができます。
これにより、パラメータ効率が非常に良く、メモリ制限のあるモバイルシステムにそのようなディープモデルをデプロイできる。
4つのベンチマークデータセットの実験により、提案された双線形プロジェクションをディープニューラルネットワークに適用すると、従来のフルDNNよりも精度が向上し、モデルサイズを大幅に削減できることが示された。
関連論文リスト
- EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for
Mobile Vision Applications [68.35683849098105]
入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。
1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。
パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
論文 参考訳（メタデータ） (2022-06-21T17:59:56Z) - Investigating the Relationship Between Dropout Regularization and Model
Complexity in Neural Networks [0.0]
ドロップアウト規則化は、ディープラーニングモデルのばらつきを低減するのに役立つ。
2,000のニューラルネットワークをトレーニングすることにより,ドロップアウト率とモデル複雑性の関係について検討する。
各密層に隠されたユニットの数から、最適なドロップアウト率を予測するニューラルネットワークを構築します。
論文 参考訳（メタデータ） (2021-08-14T23:49:33Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳（メタデータ） (2021-06-18T01:03:13Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳（メタデータ） (2021-05-07T11:39:05Z) - HR-Depth: High Resolution Self-Supervised Monocular Depth Estimation [14.81943833870932]
本稿では,2つの効果的な戦略を持つ改良DepthNet,HR-Depthを提案する。
resnet-18をエンコーダとして使用すると、hr-depthは、高解像度と低解像度の両方で最小パラマエターを持つ、以前の最先端(sota)メソッドをすべて上回る。
論文 参考訳（メタデータ） (2020-12-14T09:15:15Z) - Filter Pre-Pruning for Improved Fine-tuning of Quantized Deep Neural
Networks [0.0]
本稿では,DNNの微調整を妨害するフィルタを除去するPruning for Quantization (PfQ)と呼ばれる新しいプルーニング手法を提案する。
良く知られたモデルとデータセットを用いた実験により,提案手法が類似したモデルサイズで高い性能を実現することを確認した。
論文 参考訳（メタデータ） (2020-11-13T04:12:54Z) - ${\rm N{\small ode}S{\small ig}}$: Random Walk Diffusion meets Hashing
for Scalable Graph Embeddings [7.025709586759654]
$rm Nsmall odeSsmall ig$は、バイナリノード表現を計算するスケーラブルな埋め込みモデルである。
$rm N Small odeS Small ig$は、ランダムなウォーク拡散確率を、安定したランダムなプロジェクションハッシュを通じて活用する。
論文 参考訳（メタデータ） (2020-10-01T09:07:37Z) - Local Grid Rendering Networks for 3D Object Detection in Point Clouds [98.02655863113154]
CNNは強力だが、全点の雲を高密度の3Dグリッドに酸化した後、点データに直接畳み込みを適用するのは計算コストがかかる。
入力点のサブセットの小さな近傍を低解像度の3Dグリッドに独立してレンダリングする,新しい,原理化されたローカルグリッドレンダリング(LGR)演算を提案する。
ScanNetとSUN RGB-Dデータセットを用いた3次元オブジェクト検出のためのLGR-Netを検証する。
論文 参考訳（メタデータ） (2020-07-04T13:57:43Z) - The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network
Architectures [179.66117325866585]
我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。
この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。
画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
論文 参考訳（メタデータ） (2020-06-29T17:59:26Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。