論文の概要: Safe Self-Refinement for Transformer-based Domain Adaptation
- arxiv url: http://arxiv.org/abs/2204.07683v1
- Date: Sat, 16 Apr 2022 00:15:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-19 14:04:07.699951
- Title: Safe Self-Refinement for Transformer-based Domain Adaptation
- Title（参考訳）: 変圧器に基づく領域適応のための安全な自己定義
- Authors: Tao Sun, Cheng Lu, Tianshuo Zhang, Haibin Ling
- Abstract要約: Unsupervised Domain Adaptation (UDA)は、ラベル豊富なソースドメインを活用して、関連するラベルのないターゲットドメイン上のタスクを解決することを目的としている。
特にソースとターゲットドメインの間に大きなドメインギャップがある場合、これは難しい問題です。
SSRT (Safe Self-Refinement for Transformer-based domain adaptation) という新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 73.8480218879
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised Domain Adaptation (UDA) aims to leverage a label-rich source
domain to solve tasks on a related unlabeled target domain. It is a challenging
problem especially when a large domain gap lies between the source and target
domains. In this paper we propose a novel solution named SSRT (Safe
Self-Refinement for Transformer-based domain adaptation), which brings
improvement from two aspects. First, encouraged by the success of vision
transformers in various vision tasks, we arm SSRT with a transformer backbone.
We find that the combination of vision transformer with simple adversarial
adaptation surpasses best reported Convolutional Neural Network (CNN)-based
results on the challenging DomainNet benchmark, showing its strong transferable
feature representation. Second, to reduce the risk of model collapse and
improve the effectiveness of knowledge transfer between domains with large
gaps, we propose a Safe Self-Refinement strategy. Specifically, SSRT utilizes
predictions of perturbed target domain data to refine the model. Since the
model capacity of vision transformer is large and predictions in such
challenging tasks can be noisy, a safe training mechanism is designed to
adaptively adjust learning configuration. Extensive evaluations are conducted
on several widely tested UDA benchmarks and SSRT achieves consistently the best
performances, including 85.43% on Office-Home, 88.76% on VisDA-2017 and 45.2%
on DomainNet.
- Abstract（参考訳）: Unsupervised Domain Adaptation (UDA)は、ラベル豊富なソースドメインを活用して、関連するラベルのないターゲットドメイン上のタスクを解決することを目的としている。
特にソースとターゲットドメインの間に大きなドメインギャップがある場合、これは難しい問題です。
本稿では,SSRT(Safe Self-Refinement for Transformer-based domain adaptation)という新しい手法を提案する。
まず、様々な視覚タスクにおけるビジョントランスフォーマーの成功に励まされ、トランスフォーマーバックボーンでSSRTをアームする。
視覚トランスフォーマーと単純な逆適応の組み合わせは、最も報告された畳み込みニューラルネットワーク(cnn)ベースのドメインネットベンチマークの結果を上回っており、その強力な転送可能な特徴表現を示している。
第二に,モデル崩壊のリスクを低減し,大きなギャップを持つ領域間の知識伝達の有効性を向上させるため,安全な自己抑制戦略を提案する。
具体的には、SSRTは摂動対象領域データの予測を利用してモデルを洗練する。
視覚トランスフォーマのモデル容量が大きく、このような困難なタスクにおける予測がノイズになる可能性があるため、学習構成を適応的に調整する安全なトレーニング機構が設計されている。
広くテストされているいくつかのUDAベンチマークで大規模な評価が行われ、SSRTは、Office-Homeで85.43%、VisDA-2017で88.76%、DomainNetで45.2%など、一貫して最高のパフォーマンスを達成している。
関連論文リスト
- Contrastive Adversarial Training for Unsupervised Domain Adaptation [2.432037584128226]
様々なドメイン適応タスクにおいて、ドメイン逆行訓練がうまく採用されている。
大規模なモデルでは、敵のトレーニングがソースドメインに偏りやすく、ターゲットドメインにはほとんど適応しない。
本稿では、ラベル付きソースドメインのサンプルを利用して、ターゲットドメインの機能生成を強化・調整するコントラッシブ・逆行訓練(CAT)手法を提案する。
論文 参考訳（メタデータ） (2024-07-17T17:59:21Z) - Cross-Domain Few-Shot Learning via Adaptive Transformer Networks [16.289485655725013]
本稿では,ドメイン間数ショット学習のための適応型トランスフォーマネットワーク(ADAPTER)を提案する。
ADAPTERは2つのドメイン間で伝達可能な特徴を学習するために双方向の相互注意というアイデアに基づいて構築されている。
論文 参考訳（メタデータ） (2024-01-25T07:05:42Z) - Strong-Weak Integrated Semi-supervision for Unsupervised Single and
Multi Target Domain Adaptation [6.472434306724611]
教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインで学んだ知識をラベル付きターゲットドメインに転送することに焦点を当てている。
本稿では,画像分類のためのSWISS学習戦略を提案する。
論文 参考訳（メタデータ） (2023-09-12T19:08:54Z) - Adversarial Bi-Regressor Network for Domain Adaptive Regression [52.5168835502987]
ドメインシフトを軽減するために、クロスドメインレグレッタを学ぶことが不可欠です。
本稿では、より効果的なドメイン間回帰モデルを求めるために、ABRNet(Adversarial Bi-Regressor Network)を提案する。
論文 参考訳（メタデータ） (2022-09-20T18:38:28Z) - Domain Adaptation for Object Detection using SE Adaptors and Center Loss [0.0]
本稿では,高速RCNNに基づく教師なしドメイン適応手法を導入し,ドメインシフトによる性能低下を防止する。
また、SEアダプタと呼ばれる圧縮励起機構を利用して、ドメインの注意を向上するアダプティブレイヤのファミリーも導入する。
最後に、インスタンスと画像レベルの表現に中心損失を組み込んで、クラス内分散を改善する。
論文 参考訳（メタデータ） (2022-05-25T17:18:31Z) - Dispensed Transformer Network for Unsupervised Domain Adaptation [21.256375606219073]
本稿では,新しい非教師付き領域適応 (UDA) 方式であるディスペンデントトランスフォーマーネットワーク (DTNet) について述べる。
提案するネットワークは,いくつかの最先端技術と比較して,最高の性能を実現している。
論文 参考訳（メタデータ） (2021-10-28T08:27:44Z) - Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training
for Road Segmentation of Remote Sensing Images [93.50240389540252]
リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。
本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。
2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2021-08-28T09:29:14Z) - TVT: Transferable Vision Transformer for Unsupervised Domain Adaptation [54.61786380919243]
Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから学習した知識をラベル付きターゲットドメインに転送することを目的としている。
これまでの研究は主に、ドメイン不変表現を学ぶために畳み込みニューラルネットワーク(CNN)上に構築されていた。
近年、視覚タスクに視覚変換器(ViT)を適用する指数関数的増加に伴い、ドメイン間の知識を適応するViTの能力は文献上未解明のままである。
論文 参考訳（メタデータ） (2021-08-12T22:37:43Z) - Transformer-Based Source-Free Domain Adaptation [134.67078085569017]
本研究では,ソースフリードメイン適応(SFDA)の課題について検討する。
我々は、FDAの一般化モデルを学ぶためのTransformer(TransDA)という、汎用的で効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-05-28T23:06:26Z) - Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。
グラフ埋め込みに基づく汎用フレームワークを提案する。
提案手法が強力なドメイン適応フレームワークにつながることを示す。
論文 参考訳（メタデータ） (2020-03-09T12:25:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。