論文の概要: Domain Adaptation Regularization for Spectral Pruning

• arxiv url: http://arxiv.org/abs/1912.11853v3
• Date: Tue, 25 Aug 2020 09:08:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-10 08:19:48.022354
• Title: Domain Adaptation Regularization for Spectral Pruning
• Title（参考訳）: スペクトルプルーニングのための領域適応規則化
• Authors: Laurent Dillard, Yosuke Shinya, Taiji Suzuki
• Abstract要約: ドメイン適応(DA)は、ラベル付きソースディストリビューションで学んだ知識を、おそらくラベルなしのターゲットディストリビューションに転送することで、この問題に対処する。 提案手法は,DA設定における既存の圧縮手法よりも高い圧縮率を示す。 本研究は1つの特定の圧縮法に基づくものであるが、DA設定における圧縮を改善するための一般的なガイドラインについても概説する。
• 参考スコア（独自算出の注目度）: 44.060724281001775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNNs) have recently been achieving state-of-the-art performance on a variety of computer vision related tasks. However, their computational cost limits their ability to be implemented in embedded systems with restricted resources or strict latency constraints. Model compression has therefore been an active field of research to overcome this issue. Additionally, DNNs typically require massive amounts of labeled data to be trained. This represents a second limitation to their deployment. Domain Adaptation (DA) addresses this issue by allowing knowledge learned on one labeled source distribution to be transferred to a target distribution, possibly unlabeled. In this paper, we investigate on possible improvements of compression methods in DA setting. We focus on a compression method that was previously developed in the context of a single data distribution and show that, with a careful choice of data to use during compression and additional regularization terms directly related to DA objectives, it is possible to improve compression results. We also show that our method outperforms an existing compression method studied in the DA setting by a large margin for high compression rates. Although our work is based on one specific compression method, we also outline some general guidelines for improving compression in DA setting.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は最近、さまざまなコンピュータビジョン関連タスクで最先端のパフォーマンスを実現している。 しかし、その計算コストは、リソースの制限や厳格なレイテンシ制約のある組み込みシステムで実装できることを制限する。 したがって、モデル圧縮はこの問題を克服するための研究の活発な分野である。 さらに、DNNは通常、大量のラベル付きデータをトレーニングする必要がある。 これはデプロイメントに対する第2の制限である。 ドメイン適応(DA)は、ラベル付きソースディストリビューションで学んだ知識を、おそらくラベルなしのターゲットディストリビューションに転送することでこの問題に対処する。 本稿では,DA設定における圧縮法の改善の可能性について検討する。 我々は,単一のデータ分散の文脈で以前に開発された圧縮手法に着目し,圧縮中に使用するデータの慎重に選択し,da目的に直接関連した正規化項を追加することにより,圧縮結果を改善することができることを示す。 また,本手法は,da設定で検討した既存の圧縮法を高い圧縮率で大きなマージンで上回ることを示した。 我々の研究は1つの特定の圧縮法に基づいているが、da設定における圧縮を改善するための一般的なガイドラインも概説する。

関連論文リスト

• ODDN: Addressing Unpaired Data Challenges in Open-World Deepfake Detection on Online Social Networks [51.03118447290247]
  オープンワールドデータアグリゲーション(ODA)と圧縮・ディスカード勾配補正(CGC)を組み合わせたオープンワールドディープフェイク検出ネットワーク(ODDN)を提案する。 細粒度分析と粗粒度分析の両方により,ODAは圧縮試料と原試料の相関関係を効果的に集約する。 CGCは、オンラインソーシャルネットワーク(OSN)における多種多様な圧縮方法のパフォーマンス向上のために、圧縮・ディスカード勾配補正を組み込んだ。
  論文  参考訳（メタデータ） (2024-10-24T12:32:22Z)
• Sparse $L^1$-Autoencoders for Scientific Data Compression [0.0]
  L1$-regularizedの高次元ラテント空間を用いたオートエンコーダの開発により,効率的なデータ圧縮手法を提案する。 本稿では,これらの情報に富む潜伏空間を用いて,ぼやけなどのアーティファクトを緩和し,科学的データに対する高効率なデータ圧縮手法を実現する方法について述べる。
  論文  参考訳（メタデータ） (2024-05-23T07:48:00Z)
• Data-Aware Gradient Compression for FL in Communication-Constrained Mobile Computing [20.70238092277094]
  モバイル環境におけるフェデレートラーニング(FL)は、重要なコミュニケーションボトルネックに直面している。 ワンサイズ・フィット・オール圧縮アプローチは、ワーカ間でのさまざまなデータボリュームを考慮に入れない。 本研究では,データ分布とボリュームが異なる作業者に対して,様々な圧縮比を提案する。
  論文  参考訳（メタデータ） (2023-11-13T13:24:09Z)
• Optimal Compression of Unit Norm Vectors in the High Distortion Regime [30.6205706348233]
  本稿では,単位ノルムベクトルを最小ビット数に圧縮する手法について検討する。 本研究は, バイアス圧縮法と非バイアス圧縮法の両方を考察し, 最適圧縮率を決定する。 結果は新しいものと既知のものが混在しているが、完全性のためにこの論文にまとめられている。
  論文  参考訳（メタデータ） (2023-07-16T04:23:57Z)
• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• Implicit Neural Representations for Image Compression [103.78615661013623]
  Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。 量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。 我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
  論文  参考訳（メタデータ） (2021-12-08T13:02:53Z)
• Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
  本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。 高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
  論文  参考訳（メタデータ） (2020-11-17T20:32:57Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。