論文の概要: Knowledge Distillation Methods for Efficient Unsupervised Adaptation Across Multiple Domains

• arxiv url: http://arxiv.org/abs/2101.07308v1
• Date: Mon, 18 Jan 2021 19:53:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-27 06:07:03.706257
• Title: Knowledge Distillation Methods for Efficient Unsupervised Adaptation Across Multiple Domains
• Title（参考訳）: 複数の領域にわたる効率的な教師なし適応のための知識蒸留法
• Authors: Le Thanh Nguyen-Meidine, Atif Belal, Madhu Kiran, Jose Dolz, Louis-Antoine Blais-Morin, Eric Granger
• Abstract要約: CNNの非監視単一ターゲットDA(STDA)とマルチターゲットDA(MTDA)に対するプログレッシブKDアプローチを提案する。 提案手法は,Office31 および ImageClef-DA 画像分類データセット上の CNN の圧縮と STDA の最先端手法と比較する。
• 参考スコア（独自算出の注目度）: 13.464493273131591
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Beyond the complexity of CNNs that require training on large annotated datasets, the domain shift between design and operational data has limited the adoption of CNNs in many real-world applications. For instance, in person re-identification, videos are captured over a distributed set of cameras with non-overlapping viewpoints. The shift between the source (e.g. lab setting) and target (e.g. cameras) domains may lead to a significant decline in recognition accuracy. Additionally, state-of-the-art CNNs may not be suitable for such real-time applications given their computational requirements. Although several techniques have recently been proposed to address domain shift problems through unsupervised domain adaptation (UDA), or to accelerate/compress CNNs through knowledge distillation (KD), we seek to simultaneously adapt and compress CNNs to generalize well across multiple target domains. In this paper, we propose a progressive KD approach for unsupervised single-target DA (STDA) and multi-target DA (MTDA) of CNNs. Our method for KD-STDA adapts a CNN to a single target domain by distilling from a larger teacher CNN, trained on both target and source domain data in order to maintain its consistency with a common representation. Our proposed approach is compared against state-of-the-art methods for compression and STDA of CNNs on the Office31 and ImageClef-DA image classification datasets. It is also compared against state-of-the-art methods for MTDA on Digits, Office31, and OfficeHome. In both settings -- KD-STDA and KD-MTDA -- results indicate that our approach can achieve the highest level of accuracy across target domains, while requiring a comparable or lower CNN complexity.
• Abstract（参考訳）: 大規模なアノテートデータセットのトレーニングを必要とするCNNの複雑さに加えて、設計と運用データのドメインシフトは、多くの現実世界アプリケーションにおいてCNNの採用を制限している。 例えば、個人の再識別では、ビデオは重複しない視点を持つ分散したカメラセットでキャプチャされる。 ソース間のシフト(例) 実験室の設定)とターゲット(例) カメラ)ドメインは認識精度を著しく低下させる可能性がある。 さらに、最先端のCNNは、計算要求からすると、そのようなリアルタイムアプリケーションには適さないかもしれない。 近年,非教師なし領域適応(uda)や知識蒸留(kd)によるcnnの高速化と圧縮を行う手法が提案されているが,複数の対象領域にまたがるcnnの適応と圧縮を同時に行なおうとしている。 本稿では、CNNの教師なし単一ターゲットDA(STDA)とマルチターゲットDA(MTDA)に対するプログレッシブKDアプローチを提案する。 我々のKD-STDA法は,CNNを1つのターゲット領域に適応させるため,より大規模な教師CNNから抽出し,目標領域データとソース領域データの両方で学習し,共通表現との整合性を維持する。 提案手法は,Office31 および ImageClef-DA 画像分類データセット上の CNN の圧縮と STDA の最先端手法と比較する。 また、Digits、Office31、OfficeHome上のMTDAの最先端メソッドと比較される。 両方の設定 -- KD-STDAとKD-MTDA -- の結果から、我々のアプローチは、CNNの複雑さを同等または低いものにしつつ、ターゲットドメイン全体で最高の精度を達成できることを示している。

関連論文リスト

• Knowledge Distillation for Multi-Target Domain Adaptation in Real-Time Person Re-Identification [10.672152844970151]
  マルチターゲットドメイン適応(MTDA)はReID文献では広く扱われていない。 本稿では,リアルタイムのReIDアプリケーションに適した知識蒸留(KD-ReID)に基づくMTDA手法を提案する。 本手法は,複数の専門教師CNNを対象ドメインから抽出し,特定の対象ドメインからのデータに適応させることにより,共通の軽量な学生バックボーンCNNを対象ドメインに適応させる。
  論文  参考訳（メタデータ） (2022-05-12T17:28:02Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• Continual BatchNorm Adaptation (CBNA) for Semantic Segmentation [39.99513327031499]
  自動運転車の環境認識はディープニューラルネットワーク(DNN)に大きく依存することが多い 本研究では,ソースフリーなUDAアプローチを,セマンティックセグメンテーションの単一画像ベースで連続的かつオンライン可能なUDAに拡張する。 本手法は, バッチ正規化層におけるソース領域の統計量を, 教師なしの手法で変更し, 推論中に一貫した性能向上をもたらす。
  論文  参考訳（メタデータ） (2022-03-02T12:55:10Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Appearance Based Deep Domain Adaptation for the Classification of Aerial Images [0.0]
  本稿では、ディープニューラルネットワーク(DNN)を用いたリモートセンシングデータの画素ワイズ分類のためのドメイン適応について述べる。 我々は、ラベル付きデータがソースドメインDSでしか利用できないが、ターゲットドメインDTでは利用できない設定に焦点を当てる。 本手法は,画像がDTの画像のように見えるようにDSから画像に変換する外観適応ネットワーク(AAN)の対角訓練に基づく。
  論文  参考訳（メタデータ） (2021-08-17T17:35:28Z)
• Incremental Multi-Target Domain Adaptation for Object Detection with Efficient Domain Transfer [15.000304613769108]
  マルチターゲットドメイン適応(MTDA)技術は、複数のターゲットドメインにまたがって適切に一般化できるように、認識モデルを適応させようとする。 主な課題は、ターゲットデータのためのバウンディングボックスアノテーションの欠如、知識の腐敗、正確な深部検出モデルのトレーニングに必要なリソース要件の増加である。 従来学習した対象領域のデータを保持せずに、一度に複数の対象ドメインに検出器を適応させることができるオブジェクト検出のための新しいインクリメンタルMTDA技術を提案する。
  論文  参考訳（メタデータ） (2021-04-13T19:35:54Z)
• Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
  ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。 まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
  論文  参考訳（メタデータ） (2021-04-03T01:33:14Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• Surprisingly Simple Semi-Supervised Domain Adaptation with Pretraining and Consistency [93.89773386634717]
  ビジュアルドメイン適応は、異なるソースドメインで利用可能なラベルを使用して、ターゲットのビジュアルドメインからイメージを分類する学習を含む。 いくつかの目標ラベルが存在する場合、(回転予測による)自己スーパービジョンや整合正則化といった単純な手法が、適切な目標分類器を学習するための対角アライメントなしで有効であることを示す。 我々の事前学習と一貫性(PAC)アプローチは、この半教師付きドメイン適応タスクにおいて、複数のデータセットにまたがる複数の対向的なドメインアライメント手法を超越して、技術精度を達成することができる。
  論文  参考訳（メタデータ） (2021-01-29T18:40:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。