論文の概要: Test-Time Domain Adaptation by Learning Domain-Aware Batch Normalization

• arxiv url: http://arxiv.org/abs/2312.10165v2
• Date: Tue, 16 Jan 2024 21:47:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 19:51:08.775873
• Title: Test-Time Domain Adaptation by Learning Domain-Aware Batch Normalization
• Title（参考訳）: ドメイン認識バッチ正規化学習によるテスト時間領域適応
• Authors: Yanan Wu, Zhixiang Chi, Yang Wang, Konstantinos N. Plataniotis, Songhe Feng
• Abstract要約: テストタイムドメイン適応は、ソースドメインでトレーニングされたモデルを、ラベルのないいくつかのイメージを使用して、未表示のターゲットドメインに適応することを目的としている。 従来の作業は通常、ラベルとドメイン間の知識を明示的に分離することなく、ネットワーク全体をナビゲート的に更新する。 本稿では,BN層のみを操作することにより,そのような学習の干渉を低減し,ドメイン知識の学習を高めることを提案する。
• 参考スコア（独自算出の注目度）: 39.14048972373775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time domain adaptation aims to adapt the model trained on source domains to unseen target domains using a few unlabeled images. Emerging research has shown that the label and domain information is separately embedded in the weight matrix and batch normalization (BN) layer. Previous works normally update the whole network naively without explicitly decoupling the knowledge between label and domain. As a result, it leads to knowledge interference and defective distribution adaptation. In this work, we propose to reduce such learning interference and elevate the domain knowledge learning by only manipulating the BN layer. However, the normalization step in BN is intrinsically unstable when the statistics are re-estimated from a few samples. We find that ambiguities can be greatly reduced when only updating the two affine parameters in BN while keeping the source domain statistics. To further enhance the domain knowledge extraction from unlabeled data, we construct an auxiliary branch with label-independent self-supervised learning (SSL) to provide supervision. Moreover, we propose a bi-level optimization based on meta-learning to enforce the alignment of two learning objectives of auxiliary and main branches. The goal is to use the auxiliary branch to adapt the domain and benefit main task for subsequent inference. Our method keeps the same computational cost at inference as the auxiliary branch can be thoroughly discarded after adaptation. Extensive experiments show that our method outperforms the prior works on five WILDS real-world domain shift datasets. Our method can also be integrated with methods with label-dependent optimization to further push the performance boundary. Our code is available at https://github.com/ynanwu/MABN.
• Abstract（参考訳）: テストタイムドメイン適応は、ソースドメインでトレーニングされたモデルを、ラベルのないいくつかのイメージを使用して、未表示のターゲットドメインに適応することを目的としている。 新興研究では、ラベルとドメイン情報は、重み行列とバッチ正規化(BN)層に別々に埋め込まれていることが示されている。 従来の作業は通常、ラベルとドメイン間の知識を明示的に分離することなく、ネットワーク全体をネイティブに更新する。 結果として、知識の干渉と欠陥のある分布適応につながる。 本研究では,このような学習干渉を低減し,bn層を操作するだけでドメイン知識学習を向上させることを提案する。 しかし、BNの正規化ステップは統計がいくつかのサンプルから再推定されるときに本質的に不安定である。 ソースドメイン統計を保ちながら、BN内の2つのアフィンパラメータを更新するだけで、曖昧さを大幅に低減できることがわかった。 ラベルなしデータからのドメイン知識抽出をさらに強化するため,ラベルに依存しない自己教師付き学習(SSL)を補助的に構築し,監視を行う。 さらに,メタラーニングに基づく二段階最適化を提案し,補助枝と主枝の2つの学習目標のアライメントを強制する。 目標は、補助ブランチを使用してドメインを適応させ、それに続く推論のメインタスクに便益を与えることです。 提案手法は,補助分岐を適応後に完全に破棄できるのと同じ計算コストを推定時に維持する。 大規模な実験により,本手法は5つのWILDS実世界のドメインシフトデータセットにおいて先行研究よりも優れていた。 本手法はラベル依存最適化手法と統合して性能境界をさらに押し上げることもできる。 私たちのコードはhttps://github.com/ynanwu/mabn.comで利用可能です。

関連論文リスト

• AdaptDiff: Cross-Modality Domain Adaptation via Weak Conditional Semantic Diffusion for Retinal Vessel Segmentation [10.958821619282748]
  本稿では、AdaptDiffという、教師なしドメイン適応(UDA)手法を提案する。 これにより、眼底撮影(FP)で訓練された網膜血管分割ネットワークが、目に見えないモダリティに対して満足な結果をもたらすことができる。 その結果,全データセットのセグメンテーション性能は大幅に向上した。
  論文  参考訳（メタデータ） (2024-10-06T23:04:29Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
  本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。 特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。 このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
  論文  参考訳（メタデータ） (2022-07-18T18:41:36Z)
• Target and Task specific Source-Free Domain Adaptive Image Segmentation [73.78898054277538]
  ソースフリー領域適応画像分割のための2段階のアプローチを提案する。 我々は,高エントロピー領域を抑えつつ,ターゲット固有の擬似ラベルを生成することに注力する。 第2段階では、タスク固有の表現にネットワークを適用することに重点を置いている。
  論文  参考訳（メタデータ） (2022-03-29T17:50:22Z)
• Low-confidence Samples Matter for Domain Adaptation [47.552605279925736]
  ドメイン適応(DA)は、知識をラベルの豊富なソースドメインから関連するがラベルの少ないターゲットドメインに転送することを目的としている。 低信頼度サンプルの処理による新しいコントラスト学習法を提案する。 提案手法を教師なしと半教師付きの両方のDA設定で評価する。
  論文  参考訳（メタデータ） (2022-02-06T15:45:45Z)
• Cross-domain Contrastive Learning for Unsupervised Domain Adaptation [108.63914324182984]
  教師なしドメイン適応(Unsupervised domain adapt、UDA)は、完全にラベル付けされたソースドメインから異なるラベル付けされていないターゲットドメインに学習した知識を転送することを目的としている。 対照的な自己教師型学習に基づいて、トレーニングとテストセット間のドメインの相違を低減するために、機能を整列させます。
  論文  参考訳（メタデータ） (2021-06-10T06:32:30Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Prototypical Cross-domain Self-supervised Learning for Few-shot Unsupervised Domain Adaptation [91.58443042554903]
  FUDA(Unsupervised Domain Adaptation)のためのPCS(Prototypical Cross-Domain Self-Supervised Learning)フレームワークを提案する。 PCSは、クロスドメインのローレベルな機能アライメントを行うだけでなく、ドメイン間の共有埋め込み空間におけるセマンティック構造をエンコードおよびアライメントする。 最新の手法と比較して、pcsは、fuda上の異なるドメインペアの平均分類精度を10.5%、office、office-home、visda-2017、domainnetで3.5%、9.0%、13.2%改善している。
  論文  参考訳（メタデータ） (2021-03-31T02:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。