論文の概要: Domain Adaptation Regularization for Spectral Pruning
- arxiv url: http://arxiv.org/abs/1912.11853v3
- Date: Tue, 25 Aug 2020 09:08:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-10 08:19:48.022354
- Title: Domain Adaptation Regularization for Spectral Pruning
- Title(参考訳): スペクトルプルーニングのための領域適応規則化
- Authors: Laurent Dillard, Yosuke Shinya, Taiji Suzuki
- Abstract要約: ドメイン適応(DA)は、ラベル付きソースディストリビューションで学んだ知識を、おそらくラベルなしのターゲットディストリビューションに転送することで、この問題に対処する。
提案手法は,DA設定における既存の圧縮手法よりも高い圧縮率を示す。
本研究は1つの特定の圧縮法に基づくものであるが、DA設定における圧縮を改善するための一般的なガイドラインについても概説する。
- 参考スコア(独自算出の注目度): 44.060724281001775
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks (DNNs) have recently been achieving state-of-the-art
performance on a variety of computer vision related tasks. However, their
computational cost limits their ability to be implemented in embedded systems
with restricted resources or strict latency constraints. Model compression has
therefore been an active field of research to overcome this issue.
Additionally, DNNs typically require massive amounts of labeled data to be
trained. This represents a second limitation to their deployment. Domain
Adaptation (DA) addresses this issue by allowing knowledge learned on one
labeled source distribution to be transferred to a target distribution,
possibly unlabeled. In this paper, we investigate on possible improvements of
compression methods in DA setting. We focus on a compression method that was
previously developed in the context of a single data distribution and show
that, with a careful choice of data to use during compression and additional
regularization terms directly related to DA objectives, it is possible to
improve compression results. We also show that our method outperforms an
existing compression method studied in the DA setting by a large margin for
high compression rates. Although our work is based on one specific compression
method, we also outline some general guidelines for improving compression in DA
setting.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)は最近、さまざまなコンピュータビジョン関連タスクで最先端のパフォーマンスを実現している。
しかし、その計算コストは、リソースの制限や厳格なレイテンシ制約のある組み込みシステムで実装できることを制限する。
したがって、モデル圧縮はこの問題を克服するための研究の活発な分野である。
さらに、DNNは通常、大量のラベル付きデータをトレーニングする必要がある。
これはデプロイメントに対する第2の制限である。
ドメイン適応(DA)は、ラベル付きソースディストリビューションで学んだ知識を、おそらくラベルなしのターゲットディストリビューションに転送することでこの問題に対処する。
本稿では,DA設定における圧縮法の改善の可能性について検討する。
我々は,単一のデータ分散の文脈で以前に開発された圧縮手法に着目し,圧縮中に使用するデータの慎重に選択し,da目的に直接関連した正規化項を追加することにより,圧縮結果を改善することができることを示す。
また,本手法は,da設定で検討した既存の圧縮法を高い圧縮率で大きなマージンで上回ることを示した。
我々の研究は1つの特定の圧縮法に基づいているが、da設定における圧縮を改善するための一般的なガイドラインも概説する。
関連論文リスト
- DAGC: Data-Volume-Aware Adaptive Sparsification Gradient Compression for
Distributed Machine Learning in Mobile Computing [21.740516733221437]
本研究では,非一様圧縮による分散機械学習の解析を紹介する。
本稿では,大容量データを扱う作業者に保守的圧縮を割り当てるDAGC-Rを提案する。
実験により,DAGC-AとDAGC-Rの両者が,高度に不均衡なデータボリューム分布と制限された通信を扱う場合,良好な性能が得られることを確認した。
論文 参考訳(メタデータ) (2023-11-13T13:24:09Z) - Optimal Compression of Unit Norm Vectors in the High Distortion Regime [30.6205706348233]
本稿では,単位ノルムベクトルを最小ビット数に圧縮する手法について検討する。
本研究は, バイアス圧縮法と非バイアス圧縮法の両方を考察し, 最適圧縮率を決定する。
結果は新しいものと既知のものが混在しているが、完全性のためにこの論文にまとめられている。
論文 参考訳(メタデータ) (2023-07-16T04:23:57Z) - Unrolled Compressed Blind-Deconvolution [77.88847247301682]
sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。
そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
論文 参考訳(メタデータ) (2022-09-28T15:16:58Z) - Implicit Neural Representations for Image Compression [103.78615661013623]
Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。
量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。
我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
論文 参考訳(メタデータ) (2021-12-08T13:02:53Z) - Quantization for Distributed Optimization [0.0]
本稿では,バニラSGDの性能を維持しながら通信オーバヘッドを大幅に低減する全リデュース勾配対応圧縮方式を提案する。
我々の圧縮手法は、現在ディープラーニングフレームワークによって提供されている工法よりも優れています。
論文 参考訳(メタデータ) (2021-09-26T05:16:12Z) - Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。
高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
論文 参考訳(メタデータ) (2020-11-17T20:32:57Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳(メタデータ) (2020-08-04T09:14:52Z) - Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。
原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。
underline Decentralized with compression, LEAD。
論文 参考訳(メタデータ) (2020-07-01T04:35:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。