論文の概要: Joint Progressive Knowledge Distillation and Unsupervised Domain
Adaptation
- arxiv url: http://arxiv.org/abs/2005.07839v1
- Date: Sat, 16 May 2020 01:07:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 12:38:59.117095
- Title: Joint Progressive Knowledge Distillation and Unsupervised Domain
Adaptation
- Title（参考訳）: 共同進行的知識蒸留と教師なしドメイン適応
- Authors: Le Thanh Nguyen-Meidine, Eric Granger, Madhu Kiran, Jose Dolz,
Louis-Antoine Blais-Morin
- Abstract要約: そこで本研究では,CNNの協調最適化手法として,対象領域に適合する圧縮モデルを提案する。
提案手法は,Office31 と ImageClef-DA の2種類の UDA 分類データセットを用いて,最先端圧縮と UDA 技術との比較を行った。
- 参考スコア（独自算出の注目度）: 15.115086812609182
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Currently, the divergence in distributions of design and operational data,
and large computational complexity are limiting factors in the adoption of CNNs
in real-world applications. For instance, person re-identification systems
typically rely on a distributed set of cameras, where each camera has different
capture conditions. This can translate to a considerable shift between source
(e.g. lab setting) and target (e.g. operational camera) domains. Given the cost
of annotating image data captured for fine-tuning in each target domain,
unsupervised domain adaptation (UDA) has become a popular approach to adapt
CNNs. Moreover, state-of-the-art deep learning models that provide a high level
of accuracy often rely on architectures that are too complex for real-time
applications. Although several compression and UDA approaches have recently
been proposed to overcome these limitations, they do not allow optimizing a CNN
to simultaneously address both. In this paper, we propose an unexplored
direction -- the joint optimization of CNNs to provide a compressed model that
is adapted to perform well for a given target domain. In particular, the
proposed approach performs unsupervised knowledge distillation (KD) from a
complex teacher model to a compact student model, by leveraging both source and
target data. It also improves upon existing UDA techniques by progressively
teaching the student about domain-invariant features, instead of directly
adapting a compact model on target domain data. Our method is compared against
state-of-the-art compression and UDA techniques, using two popular
classification datasets for UDA -- Office31 and ImageClef-DA. In both datasets,
results indicate that our method can achieve the highest level of accuracy
while requiring a comparable or lower time complexity.
- Abstract（参考訳）: 現在、設計と運用データの分布の多様化と計算の複雑さは、現実世界のアプリケーションでcnnを採用する際の制限要因となっている。
例えば、人物再識別システムは、通常、各カメラが異なるキャプチャ条件を持つ分散カメラセットに依存している。
これは、ソース(例えば、ラボの設定)とターゲット(例えば、オペレーショナルカメラ)ドメインの間のかなりのシフトを意味することができる。
各対象領域の微調整のために取得した画像データのアノテートコストを考えると、教師なし領域適応(UDA)はCNNを適応するための一般的なアプローチとなっている。
さらに、高度な精度を提供する最先端のディープラーニングモデルは、リアルタイムアプリケーションでは複雑すぎるアーキテクチャに依存することが多い。
最近、これらの制限を克服するためにいくつかの圧縮とUDAアプローチが提案されているが、同時にCNNを最適化することは許されていない。
本稿では,cnnの協調最適化により,与えられた対象領域に対して良好に機能する圧縮モデルを実現するための,未検討の方向を提案する。
特に,提案手法は,複雑な教師モデルからコンパクトな学生モデルへの教師なし知識蒸留(KD)を行い,ソースデータとターゲットデータの両方を活用する。
また、ターゲットのドメインデータに直接コンパクトモデルを適用するのではなく、学生にドメイン不変機能を教えることで、既存のudaテクニックを改善します。
提案手法は,Office31 と ImageClef-DA の2種類の UDA 分類データセットを用いて,最先端圧縮と UDA 技術との比較を行った。
いずれのデータセットにおいても,本手法は高い精度を達成できると同時に,同等あるいは低い時間複雑度を必要とすることが示唆された。
関連論文リスト
- DG-TTA: Out-of-domain medical image segmentation through Domain Generalization and Test-Time Adaptation [43.842694540544194]
本稿では、ドメインの一般化とテスト時間適応を組み合わせることで、未確認対象領域で事前学習したモデルを再利用するための非常に効果的なアプローチを提案する。
本手法は,事前訓練した全身CTモデルと組み合わせることで,MR画像を高精度に分割できることを実証する。
論文 参考訳（メタデータ） (2023-12-11T10:26:21Z) - Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation [84.82153655786183]
Informative Data Mining (IDM) と呼ばれる新しいフレームワークを提案し、セマンティックセグメンテーションのための効率的なワンショットドメイン適応を実現する。
IDMは、最も情報性の高いサンプルを特定するために不確実性に基づく選択基準を提供し、迅速に適応し、冗長なトレーニングを減らす。
提案手法は,GTA5/SYNTHIAからCityscapesへの適応タスクにおいて,既存の手法より優れ,56.7%/55.4%の最先端のワンショット性能を実現している。
論文 参考訳（メタデータ） (2023-09-25T15:56:01Z) - CNN Feature Map Augmentation for Single-Source Domain Generalization [6.053629733936548]
ドメイン・ジェネリゼーション(DG)はここ数年で大きな注目を集めている。
DGの目標は、トレーニング中に利用可能なものと異なるデータ分散を提示した場合、引き続き正常に機能するモデルを作成することだ。
単一ソースDG画像分類設定における畳み込みニューラルネットワークアーキテクチャの代替正則化手法を提案する。
論文 参考訳（メタデータ） (2023-05-26T08:48:17Z) - Deep Unsupervised Domain Adaptation: A Review of Recent Advances and
Perspectives [16.68091981866261]
対象領域のデータの性能低下に対応するために、教師なし領域適応(UDA)を提案する。
UDAは、自然言語処理、ビデオ解析、自然言語処理、時系列データ分析、医用画像解析など、有望な成果を上げている。
論文 参考訳（メタデータ） (2022-08-15T20:05:07Z) - Back to the Source: Diffusion-Driven Test-Time Adaptation [77.4229736436935]
テスト時間適応はテスト入力を利用し、シフトしたターゲットデータ上でテストした場合、ソースデータに基づいてトレーニングされたモデルの精度を向上させる。
代わりに、生成拡散モデルを用いて、すべてのテスト入力をソース領域に向けて投影することで、ターゲットデータを更新する。
論文 参考訳（メタデータ） (2022-07-07T17:14:10Z) - Adapting the Mean Teacher for keypoint-based lung registration under
geometric domain shifts [75.51482952586773]
ディープニューラルネットワークは一般的に、ラベル付きトレーニングデータが多く必要であり、トレーニングデータとテストデータの間のドメインシフトに弱い。
本稿では,ラベル付きソースからラベル付きターゲットドメインへのモデルの適用により,画像登録のための幾何学的領域適応手法を提案する。
本手法は,ベースラインモデルの精度を目標データに適合させながら,ベースラインモデルの50%/47%を継続的に改善する。
論文 参考訳（メタデータ） (2022-07-01T12:16:42Z) - Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training
for Road Segmentation of Remote Sensing Images [93.50240389540252]
リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。
本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。
2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2021-08-28T09:29:14Z) - Unsupervised and self-adaptative techniques for cross-domain person
re-identification [82.54691433502335]
非重複カメラにおける人物再識別(ReID)は難しい課題である。
Unsupervised Domain Adaptation(UDA)は、ソースで訓練されたモデルから、IDラベルアノテーションなしでターゲットドメインへの機能学習適応を実行するため、有望な代替手段です。
本稿では,新しいオフライン戦略によって生成されたサンプルのトリプレットを利用する,UDAベースのReID手法を提案する。
論文 参考訳（メタデータ） (2021-03-21T23:58:39Z) - Knowledge Distillation Methods for Efficient Unsupervised Adaptation
Across Multiple Domains [13.464493273131591]
CNNの非監視単一ターゲットDA(STDA)とマルチターゲットDA(MTDA)に対するプログレッシブKDアプローチを提案する。
提案手法は,Office31 および ImageClef-DA 画像分類データセット上の CNN の圧縮と STDA の最先端手法と比較する。
論文 参考訳（メタデータ） (2021-01-18T19:53:16Z) - Keep it Simple: Image Statistics Matching for Domain Adaptation [0.0]
ドメイン適応(英: Domain Adaptation, DA)とは、未ラベル画像のみが対象領域から利用可能である場合に検出精度を維持する手法である。
最近の最先端の手法は、敵の訓練戦略を用いて領域ギャップを減らそうとしている。
そこで本研究では,色ヒストグラムと平均画像の共分散を対象領域に合わせることを提案する。
近年の手法と比較して,より簡単な訓練手法を用いて最先端の性能を実現する。
論文 参考訳（メタデータ） (2020-05-26T07:32:09Z) - Do We Really Need to Access the Source Data? Source Hypothesis Transfer
for Unsupervised Domain Adaptation [102.67010690592011]
Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。
従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。
この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
論文 参考訳（メタデータ） (2020-02-20T03:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。