論文の概要: ADMP: An Adversarial Double Masks Based Pruning Framework For Unsupervised Cross-Domain Compression

• arxiv url: http://arxiv.org/abs/2006.04127v1
• Date: Sun, 7 Jun 2020 11:44:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 07:46:32.917130
• Title: ADMP: An Adversarial Double Masks Based Pruning Framework For Unsupervised Cross-Domain Compression
• Title（参考訳）: admp:非教師なしクロスドメイン圧縮のための逆ダブルマスクベースのプルーニングフレームワーク
• Authors: Xiaoyu Feng, Zhuqing Yuan, Guijin Wang, Yongpan Liu
• Abstract要約: 本研究では,このようなクロスドメイン圧縮のためのADMP(Adversarial Double Masks based Pruning)を提案する。 Office31とImageCLEF-DAデータセットでは、提案されたADMPは、それぞれ0.2%と0.3%の精度で60%のチャンネルをプーンすることができる。
• 参考スコア（独自算出の注目度）: 9.492501599304768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent progress of network pruning, directly applying it to the Internet of Things (IoT) applications still faces two challenges, i.e. the distribution divergence between end and cloud data and the missing of data label on end devices. One straightforward solution is to combine the unsupervised domain adaptation (UDA) technique and pruning. For example, the model is first pruned on the cloud and then transferred from cloud to end by UDA. However, such a naive combination faces high performance degradation. Hence this work proposes an Adversarial Double Masks based Pruning (ADMP) for such cross-domain compression. In ADMP, we construct a Knowledge Distillation framework not only to produce pseudo labels but also to provide a measurement of domain divergence as the output difference between the full-size teacher and the pruned student. Unlike existing mask-based pruning works, two adversarial masks, i.e. soft and hard masks, are adopted in ADMP. So ADMP can prune the model effectively while still allowing the model to extract strong domain-invariant features and robust classification boundaries. During training, the Alternating Direction Multiplier Method is used to overcome the binary constraint of {0,1}-masks. On Office31 and ImageCLEF-DA datasets, the proposed ADMP can prune 60% channels with only 0.2% and 0.3% average accuracy loss respectively. Compared with the state of art, we can achieve about 1.63x parameters reduction and 4.1% and 5.1% accuracy improvement.
• Abstract（参考訳）: ネットワークプルーニングの最近の進歩にもかかわらず、IoT(Internet of Things)アプリケーションに直接適用することはまだ2つの課題に直面している。 簡単な解決策のひとつは、unsupervised domain adaptation(uda)テクニックとpruningを組み合わせることだ。 例えば、モデルを最初にクラウド上で実行し、UDAによってクラウドからエンドツーエンドに転送する。 しかし、このようなナイーブな組み合わせは高い性能低下に直面している。 そこで本研究では,このようなクロスドメイン圧縮のためのadversarial Double Masks based Pruning (ADMP)を提案する。 admpでは,実サイズの教師と刈り取った生徒の出力差として,疑似ラベルを生成するだけでなく,ドメインの発散を測定するための知識蒸留フレームワークを構築した。 既存のマスクによるプルーニングとは異なり、admpでは2つの逆マスク、すなわちソフトマスクとハードマスクが採用されている。 したがってADMPは、強力なドメイン不変の特徴と堅牢な分類境界を抽出しながら、モデルを効果的に実行することができる。 トレーニング中、orternating Direction Multiplier Method は {0,1}-masks のバイナリ制約を克服するために使用される。 Office31とImageCLEF-DAデータセットでは、提案されたADMPは、それぞれ0.2%と0.3%の精度で60%のチャンネルをプーンすることができる。 最先端技術と比較して、約1.63倍のパラメータ削減と4.1%と5.1%の精度向上が達成できる。

関連論文リスト

• MaskLLM: Learnable Semi-Structured Sparsity for Large Language Models [91.4190318047519]
  この研究は、大規模言語モデルにおける半構造化(あるいはN:M'')のスパーシティを確立する学習可能なプルーニング手法であるMaskLLMを紹介した。 MaskLLMはGumbel Softmaxサンプリングを通じて学習可能な分布としてN:Mパターンを明示的にモデル化する。
  論文  参考訳（メタデータ） (2024-09-26T02:37:41Z)
• D-MASTER: Mask Annealed Transformer for Unsupervised Domain Adaptation in Breast Cancer Detection from Mammograms [5.00208619516796]
  乳がん検診におけるUnsupervised Domain Adaptation (uda) の問題点に着目した。 近年の進歩により、マスク付き画像モデリングがUDAの頑健な前提課題となっていることが示されている。 クロスドメインBCDMに適用すると、これらのテクニックは、質量、非対称性、微小石灰化などの乳房異常に悩まされる。 これは多くの場合、画像当たりの偽陽性(FPI)が増加し、通常そのようなテクニックをブートストラップするために使用される擬似ラベルの顕著なノイズが生じる。
  論文  参考訳（メタデータ） (2024-07-09T06:35:17Z)
• UDA4Inst: Unsupervised Domain Adaptation for Instance Segmentation [11.210987095656224]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインから未ラベルのターゲットドメインに学習した知識を転送することを目的としている。 UDA4Instは、インスタンスセグメンテーションのためのSynth-to-real UDAの強力なベースラインである。 2つの新しいシンセグメンテーション・インスタンス・セグメンテーション・ベンチマークの結果を最初に紹介します。
  論文  参考訳（メタデータ） (2024-05-15T19:53:52Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• ADPS: Asymmetric Distillation Post-Segmentation for Image Anomaly Detection [75.68023968735523]
  知識蒸留に基づく異常検出 (KDAD) 法は, 異常領域を検出し, セグメント化するために, 教師学生のパラダイムに頼っている。 非対称蒸留ポストセグメンテーション(ADPS)と呼ばれる革新的なアプローチを提案する。 我々のADPSは、教師-学生ネットワークの入力と同じイメージの異なる形態の非対称蒸留パラダイムを採用している。 ADPSは,MVTec ADとKolektorSDD2データセットで平均精度(AP)を9%,20%向上させることを示した。
  論文  参考訳（メタデータ） (2022-10-19T12:04:47Z)
• ProxyMix: Proxy-based Mixup Training with Label Refinery for Source-Free Domain Adaptation [73.14508297140652]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的としている。 Proxy-based Mixup training with label refinery (ProxyMix)を提案する。 3つの2D画像と1つの3Dポイントクラウドオブジェクト認識ベンチマークの実験は、ProxyMixがソースフリーなUDAタスクに最先端のパフォーマンスをもたらすことを示した。
  論文  参考訳（メタデータ） (2022-05-29T03:45:00Z)
• Box-Adapt: Domain-Adaptive Medical Image Segmentation using Bounding BoxSupervision [52.45336255472669]
  深層学習のための弱教師付きドメイン適応設定を提案する。 Box-Adaptは、ソースドメインのきめ細かいセグナオンマスクとターゲットドメインの弱いバウンディングボックスを完全に探索する。 肝セグメンテーションにおける本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-08-19T01:51:04Z)
• BoxInst: High-Performance Instance Segmentation with Box Annotations [102.10713189544947]
  本稿では,トレーニング用バウンディングボックスアノテーションのみを用いて,マスクレベルのインスタンスセグメンテーションを実現する高性能な手法を提案する。 私たちの中核となる考え方は、セグメンテーションネットワーク自体を変更することなく、インスタンスセグメンテーションにおける学習マスクの喪失を活用することです。
  論文  参考訳（メタデータ） (2020-12-03T22:27:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。