論文の概要: An Overview of Neural Network Compression
- arxiv url: http://arxiv.org/abs/2006.03669v2
- Date: Sat, 1 Aug 2020 16:55:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 02:58:04.584408
- Title: An Overview of Neural Network Compression
- Title（参考訳）: ニューラルネットワーク圧縮の概観
- Authors: James O' Neill
- Abstract要約: 近年、モデル圧縮技術、特に深層畳み込みニューラルネットワークやTransformerのような自己注意型ネットワークの復活が進んでいる。
本稿では, プルーニング, 量子化, テンソル分解, 知識蒸留, それらの組み合わせを含む, ディープニューラルネットワークの古い圧縮技術と現在の圧縮技術について, タイムリーに概説する。
- 参考スコア（独自算出の注目度）: 2.550900579709111
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Overparameterized networks trained to convergence have shown impressive
performance in domains such as computer vision and natural language processing.
Pushing state of the art on salient tasks within these domains corresponds to
these models becoming larger and more difficult for machine learning
practitioners to use given the increasing memory and storage requirements, not
to mention the larger carbon footprint. Thus, in recent years there has been a
resurgence in model compression techniques, particularly for deep convolutional
neural networks and self-attention based networks such as the Transformer.
Hence, this paper provides a timely overview of both old and current
compression techniques for deep neural networks, including pruning,
quantization, tensor decomposition, knowledge distillation and combinations
thereof.
We assume a basic familiarity with deep learning architectures\footnote{For
an introduction to deep learning, see ~\citet{goodfellow2016deep}}, namely,
Recurrent Neural
Networks~\citep[(RNNs)][]{rumelhart1985learning,hochreiter1997long},
Convolutional Neural Networks~\citep{fukushima1980neocognitron}~\footnote{For
an up to date overview see~\citet{khan2019survey}} and Self-Attention based
networks~\citep{vaswani2017attention}\footnote{For a general overview of
self-attention networks, see ~\citet{chaudhari2019attentive}.},\footnote{For
more detail and their use in natural language processing,
see~\citet{hu2019introductory}}. Most of the papers discussed are proposed in
the context of at least one of these DNN architectures.
- Abstract（参考訳）: コンバージェンスに訓練された過パラメータネットワークは、コンピュータビジョンや自然言語処理といった領域で印象的なパフォーマンスを示している。
これらの領域におけるサルエントタスクの最先端の推進は、メモリとストレージの要求の増加を考えると、カーボンフットプリントを大きくするだけでなく、機械学習実践者が使用するモデルが大きくなり、ますます難しくなっていることに対応します。
このように、近年ではモデル圧縮技術が復活し、特に深い畳み込みニューラルネットワークや、トランスフォーマーのような自己接続ベースのネットワークが注目されている。
そこで本論文では, プルーニング, 量子化, テンソル分解, 知識蒸留, 組み合わせを含む, ディープニューラルネットワークの古きと現在の圧縮技術について, タイムリーに概説する。
We assume a basic familiarity with deep learning architectures\footnote{For an introduction to deep learning, see ~\citet{goodfellow2016deep}}, namely, Recurrent Neural Networks~\citep[(RNNs)][]{rumelhart1985learning,hochreiter1997long}, Convolutional Neural Networks~\citep{fukushima1980neocognitron}~\footnote{For an up to date overview see~\citet{khan2019survey}} and Self-Attention based networks~\citep{vaswani2017attention}\footnote{For a general overview of self-attention networks, see ~\citet{chaudhari2019attentive}.
詳細と自然言語処理での使用については、~\citet{hu2019introductory}}を参照してください。
議論された論文のほとんどは、これらのdnnアーキテクチャの少なくとも1つの文脈で提案されている。
関連論文リスト
- Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - A Spectral Condition for Feature Learning [20.440553685976194]
主な課題は、ネットワークの内部表現があらゆる幅で非自明に進化するようにトレーニングをスケールすることである。
特徴学習は、重みのスペクトルノルムとそれらの更新をスケーリングすることで達成されることを示す。
論文 参考訳（メタデータ） (2023-10-26T23:17:39Z) - Hyperbolic Convolutional Neural Networks [14.35618845900589]
データを埋め込みするために非ユークリッド空間を使用すると、より堅牢で説明可能なモデルが得られる。
我々は、データ内の階層をキャプチャする双曲空間の能力は、より良いパフォーマンスをもたらすと仮定する。
論文 参考訳（メタデータ） (2023-08-29T21:20:16Z) - A Note on the Implicit Bias Towards Minimal Depth of Deep Neural
Networks [11.739219085726006]
これらのシステムの成功を可能にする中心的な側面は、広い浅いものではなく、深いモデルを訓練する能力である。
深層ニューラルネットワークのトレーニングは、浅いニューラルネットワークに対して繰り返し、優れたパフォーマンスを達成する一方で、表現学習における深度の役割の理解はいまだに欠如している。
論文 参考訳（メタデータ） (2022-02-18T05:21:28Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Creating Powerful and Interpretable Models withRegression Networks [2.2049183478692584]
本稿では,ニューラルネットワークのパワーと回帰分析の可視性を組み合わせた新しいアーキテクチャRegression Networksを提案する。
これらのモデルが,いくつかのベンチマークデータセット上での解釈可能なモデルの最先端性能を上回ることを実証する。
論文 参考訳（メタデータ） (2021-07-30T03:37:00Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Hyperbolic Deep Neural Networks: A Survey [31.04110049167551]
本論文では,このモデルを双曲型ディープニューラルネットワークと呼んでいる。
本論文では,ハイパーボリック深層ニューラルネットワークの構築における神経成分に関する文献の一貫性と総合的検討について述べる。
論文 参考訳（メタデータ） (2021-01-12T15:55:16Z) - Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。
本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。
私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文 参考訳（メタデータ） (2020-12-10T22:30:25Z) - Spatio-Temporal Inception Graph Convolutional Networks for
Skeleton-Based Action Recognition [126.51241919472356]
我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。
ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
論文 参考訳（メタデータ） (2020-11-26T14:43:04Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。