論文の概要: Knowledge Distillation Methods for Efficient Unsupervised Adaptation Across Multiple Domains

• arxiv url: http://arxiv.org/abs/2101.07308v1
• Date: Mon, 18 Jan 2021 19:53:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-27 06:07:03.706257
• Title: Knowledge Distillation Methods for Efficient Unsupervised Adaptation Across Multiple Domains
• Title（参考訳）: 複数の領域にわたる効率的な教師なし適応のための知識蒸留法
• Authors: Le Thanh Nguyen-Meidine, Atif Belal, Madhu Kiran, Jose Dolz, Louis-Antoine Blais-Morin, Eric Granger
• Abstract要約: CNNの非監視単一ターゲットDA(STDA)とマルチターゲットDA(MTDA)に対するプログレッシブKDアプローチを提案する。 提案手法は,Office31 および ImageClef-DA 画像分類データセット上の CNN の圧縮と STDA の最先端手法と比較する。
• 参考スコア（独自算出の注目度）: 13.464493273131591
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Beyond the complexity of CNNs that require training on large annotated datasets, the domain shift between design and operational data has limited the adoption of CNNs in many real-world applications. For instance, in person re-identification, videos are captured over a distributed set of cameras with non-overlapping viewpoints. The shift between the source (e.g. lab setting) and target (e.g. cameras) domains may lead to a significant decline in recognition accuracy. Additionally, state-of-the-art CNNs may not be suitable for such real-time applications given their computational requirements. Although several techniques have recently been proposed to address domain shift problems through unsupervised domain adaptation (UDA), or to accelerate/compress CNNs through knowledge distillation (KD), we seek to simultaneously adapt and compress CNNs to generalize well across multiple target domains. In this paper, we propose a progressive KD approach for unsupervised single-target DA (STDA) and multi-target DA (MTDA) of CNNs. Our method for KD-STDA adapts a CNN to a single target domain by distilling from a larger teacher CNN, trained on both target and source domain data in order to maintain its consistency with a common representation. Our proposed approach is compared against state-of-the-art methods for compression and STDA of CNNs on the Office31 and ImageClef-DA image classification datasets. It is also compared against state-of-the-art methods for MTDA on Digits, Office31, and OfficeHome. In both settings -- KD-STDA and KD-MTDA -- results indicate that our approach can achieve the highest level of accuracy across target domains, while requiring a comparable or lower CNN complexity.
• Abstract（参考訳）: 大規模なアノテートデータセットのトレーニングを必要とするCNNの複雑さに加えて、設計と運用データのドメインシフトは、多くの現実世界アプリケーションにおいてCNNの採用を制限している。 例えば、個人の再識別では、ビデオは重複しない視点を持つ分散したカメラセットでキャプチャされる。 ソース間のシフト(例) 実験室の設定)とターゲット(例) カメラ)ドメインは認識精度を著しく低下させる可能性がある。 さらに、最先端のCNNは、計算要求からすると、そのようなリアルタイムアプリケーションには適さないかもしれない。 近年,非教師なし領域適応(uda)や知識蒸留(kd)によるcnnの高速化と圧縮を行う手法が提案されているが,複数の対象領域にまたがるcnnの適応と圧縮を同時に行なおうとしている。 本稿では、CNNの教師なし単一ターゲットDA(STDA)とマルチターゲットDA(MTDA)に対するプログレッシブKDアプローチを提案する。 我々のKD-STDA法は,CNNを1つのターゲット領域に適応させるため,より大規模な教師CNNから抽出し,目標領域データとソース領域データの両方で学習し,共通表現との整合性を維持する。 提案手法は,Office31 および ImageClef-DA 画像分類データセット上の CNN の圧縮と STDA の最先端手法と比較する。 また、Digits、Office31、OfficeHome上のMTDAの最先端メソッドと比較される。 両方の設定 -- KD-STDAとKD-MTDA -- の結果から、我々のアプローチは、CNNの複雑さを同等または低いものにしつつ、ターゲットドメイン全体で最高の精度を達成できることを示している。

関連論文リスト

• Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
  非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。 オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-07-30T11:38:46Z)
• Knowledge Distillation for Multi-Target Domain Adaptation in Real-Time Person Re-Identification [10.672152844970151]
  マルチターゲットドメイン適応(MTDA)はReID文献では広く扱われていない。 本稿では,リアルタイムのReIDアプリケーションに適した知識蒸留(KD-ReID)に基づくMTDA手法を提案する。 本手法は,複数の専門教師CNNを対象ドメインから抽出し,特定の対象ドメインからのデータに適応させることにより,共通の軽量な学生バックボーンCNNを対象ドメインに適応させる。
  論文  参考訳（メタデータ） (2022-05-12T17:28:02Z)
• Continual BatchNorm Adaptation (CBNA) for Semantic Segmentation [39.99513327031499]
  自動運転車の環境認識はディープニューラルネットワーク(DNN)に大きく依存することが多い 本研究では,ソースフリーなUDAアプローチを,セマンティックセグメンテーションの単一画像ベースで連続的かつオンライン可能なUDAに拡張する。 本手法は, バッチ正規化層におけるソース領域の統計量を, 教師なしの手法で変更し, 推論中に一貫した性能向上をもたらす。
  論文  参考訳（メタデータ） (2022-03-02T12:55:10Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Incremental Multi-Target Domain Adaptation for Object Detection with Efficient Domain Transfer [15.000304613769108]
  マルチターゲットドメイン適応(MTDA)技術は、複数のターゲットドメインにまたがって適切に一般化できるように、認識モデルを適応させようとする。 主な課題は、ターゲットデータのためのバウンディングボックスアノテーションの欠如、知識の腐敗、正確な深部検出モデルのトレーニングに必要なリソース要件の増加である。 従来学習した対象領域のデータを保持せずに、一度に複数の対象ドメインに検出器を適応させることができるオブジェクト検出のための新しいインクリメンタルMTDA技術を提案する。
  論文  参考訳（メタデータ） (2021-04-13T19:35:54Z)
• Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
  ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。 まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
  論文  参考訳（メタデータ） (2021-04-03T01:33:14Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• Background Adaptive Faster R-CNN for Semi-Supervised Convolutional Object Detection of Threats in X-Ray Images [64.39996451133268]
  我々は、バックグラウンド適応型高速R-CNNと呼ばれる脅威認識のための半教師付きアプローチを提案する。 本手法は,ディープラーニング分野からのドメイン適応手法を用いた2段階物体検出器の訓練手法である。 2つのドメイン識別器(1つはオブジェクト提案を識別し、もう1つは画像特徴を識別する)は、ドメイン固有の情報を符号化するのを防ぐために敵対的に訓練される。 これにより、手作業の背景から抽出した特徴の統計と実世界のデータとを一致させることで、脅威検出の誤報率を低減することができる。
  論文  参考訳（メタデータ） (2020-10-02T21:05:13Z)
• Deep Co-Training with Task Decomposition for Semi-Supervised Domain Adaptation [80.55236691733506]
  半教師付きドメイン適応(SSDA)は、ラベル付きソースドメインからトレーニングされたモデルを、異なるが関連するターゲットドメインに適応させることを目的としている。 本稿では,SSDAタスクを対象ドメイン内の半教師付き学習(SSL)タスクと,ドメイン間の非教師付きドメイン適応(UDA)タスクの2つのサブタスクに明示的に分解することを提案する。
  論文  参考訳（メタデータ） (2020-07-24T17:57:54Z)
• Keep it Simple: Image Statistics Matching for Domain Adaptation [0.0]
  ドメイン適応(英: Domain Adaptation, DA)とは、未ラベル画像のみが対象領域から利用可能である場合に検出精度を維持する手法である。 最近の最先端の手法は、敵の訓練戦略を用いて領域ギャップを減らそうとしている。 そこで本研究では,色ヒストグラムと平均画像の共分散を対象領域に合わせることを提案する。 近年の手法と比較して,より簡単な訓練手法を用いて最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-05-26T07:32:09Z)
• Joint Progressive Knowledge Distillation and Unsupervised Domain Adaptation [15.115086812609182]
  そこで本研究では,CNNの協調最適化手法として,対象領域に適合する圧縮モデルを提案する。 提案手法は,Office31 と ImageClef-DA の2種類の UDA 分類データセットを用いて,最先端圧縮と UDA 技術との比較を行った。
  論文  参考訳（メタデータ） (2020-05-16T01:07:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。