論文の概要: Incorporating Pre-training Data Matters in Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2308.03097v1
• Date: Sun, 6 Aug 2023 12:23:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 16:38:47.062302
• Title: Incorporating Pre-training Data Matters in Unsupervised Domain Adaptation
• Title（参考訳）: 教師なしドメイン適応における事前学習データの導入
• Authors: Yinsong Xu, Aidong Men, Yang Liu, Qingchao Chen
• Abstract要約: 非教師付きドメイン適応(UDA)とソースフリーなUDA(SFUDA)メソッドは、ソースとターゲットの2つのドメインに関わる問題を定式化する。 我々は、ImageNet、ソース、ターゲットドメイン間の相関について検討する。 本稿では,訓練前のデータセットのセマンティック構造を微調整時に保持する新しいフレームワークTriDAを提案する。
• 参考スコア（独自算出の注目度）: 13.509286043322442
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised domain adaptation(UDA) and Source-free UDA(SFUDA) methods formulate the problem involving two domains: source and target. They typically employ a standard training approach that begins with models pre-trained on large-scale datasets e.g., ImageNet, while rarely discussing its effect. Recognizing this gap, we investigate the following research questions: (1) What is the correlation among ImageNet, the source, and the target domain? (2) How does pre-training on ImageNet influence the target risk? To answer the first question, we empirically observed an interesting Spontaneous Pulling (SP) Effect in fine-tuning where the discrepancies between any two of the three domains (ImageNet, Source, Target) decrease but at the cost of the impaired semantic structure of the pre-train domain. For the second question, we put forward a theory to explain SP and quantify that the target risk is bound by gradient disparities among the three domains. Our observations reveal a key limitation of existing methods: it hinders the adaptation performance if the semantic cluster structure of the pre-train dataset (i.e.ImageNet) is impaired. To address it, we incorporate ImageNet as the third domain and redefine the UDA/SFUDA as a three-player game. Specifically, inspired by the theory and empirical findings, we present a novel framework termed TriDA which additionally preserves the semantic structure of the pre-train dataset during fine-tuning. Experimental results demonstrate that it achieves state-of-the-art performance across various UDA and SFUDA benchmarks.
• Abstract（参考訳）: 非教師付きドメイン適応(UDA)とソースフリーUDA(SFUDA)メソッドは、ソースとターゲットの2つのドメインに関わる問題を定式化する。 彼らは通常、ImageNetのような大規模データセットで事前訓練されたモデルから始まる標準的なトレーニングアプローチを採用し、その効果についてはほとんど議論しない。 このギャップを認識し,(1)ImageNet, ソース, ターゲットドメイン間の相関関係について検討する。 2) ImageNetの事前学習はターゲットリスクにどのように影響するか? まず,3つの領域(imagenet, source, target)のいずれかの差異が減少するが,プリトレイン領域のセマンティクス構造を損なうコストが低下する,微調整におけるsp効果を経験的に観察した。 第2の質問は、spを説明し、ターゲットリスクが3つのドメイン間の勾配差によって束縛されていることを定量化する理論である。 予行データセット(つまりImageNet)のセマンティッククラスタ構造が障害された場合、適応性能を阻害する。 そこで我々は,ImageNetを第3のドメインとして組み込んで,UDA/SFUDAを3プレーヤゲームとして再定義する。 具体的には,理論と経験的知見に着想を得て,事前学習データセットの意味構造を微調整時に保持する新しいフレームワーク trida を提案する。 実験結果から,UDAおよびSFUDAベンチマークにおける最先端性能が得られた。

関連論文リスト

• CMDA: Cross-Modal and Domain Adversarial Adaptation for LiDAR-Based 3D Object Detection [14.063365469339812]
  LiDARベースの3Dオブジェクト検出法は、ソース(またはトレーニング)データ配布の外部のターゲットドメインにうまく一般化しないことが多い。 画像のモダリティから視覚的セマンティックキューを活用する,CMDA (unsupervised domain adaptation) と呼ばれる新しい手法を提案する。 また、自己学習に基づく学習戦略を導入し、モデルが逆向きに訓練され、ドメイン不変の機能を生成する。
  論文  参考訳（メタデータ） (2024-03-06T14:12:38Z)
• Unsupervised Adaptation of Polyp Segmentation Models via Coarse-to-Fine Self-Supervision [16.027843524655516]
  本稿では,アノテートされたソースデータへの依存を解消する,ソースフリードメイン適応(Source-Free Domain Adaptation, SFDA)の実践的問題について検討する。 現在のSFDA法は、ソーストレーニングされたモデルからドメイン知識を抽出することに重点を置いているが、対象ドメインの本質的な構造を無視している。 本稿では,領域レベルと画素レベルの識別表現を粗大な自己超越によって学習する,領域間適応ネットワーク(RPANet)と呼ばれる新しいSFDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-13T02:37:08Z)
• Domain Adaptive and Generalizable Network Architectures and Training Strategies for Semantic Image Segmentation [108.33885637197614]
  教師なしドメイン適応(UDA)とドメイン一般化(DG)により、ソースドメインでトレーニングされた機械学習モデルは、ラベルなしまたは目に見えないターゲットドメインでうまく機能する。 UDA&DGのマルチレゾリューション・フレームワークであるHRDAを提案する。このフレームワークは、細かなセグメンテーションの詳細を保存するための小さな高分解能作物の強度と、学習されたスケールの注意を伴って長距離のコンテキスト依存を捕捉する大規模な低分解能作物の強度を組み合わせたものである。
  論文  参考訳（メタデータ） (2023-04-26T15:18:45Z)
• SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
  我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。 両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。 実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
  論文  参考訳（メタデータ） (2023-04-06T17:36:23Z)
• Domain-aware Triplet loss in Domain Generalization [0.0]
  ドメインシフトは、テストとトレーニングデータの分布の相違によって引き起こされる。 ドメイン一般化のためのドメイン認識三重項損失を設計し、モデルが類似のセマンティックな特徴をクラスタリングするのを助ける。 本アルゴリズムは,埋め込み空間におけるドメイン情報を分散するように設計されている。
  論文  参考訳（メタデータ） (2023-03-01T14:02:01Z)
• Domain Adaptation with Adversarial Training on Penultimate Activations [82.9977759320565]
  教師なし領域適応(Unsupervised Domain Adaptation, UDA)の重要な目的は、ラベルなし対象データに対するモデル予測の信頼性を高めることである。 我々は,この戦略が,入力画像や中間特徴に対する敵対的訓練よりも予測信頼性を高める目的と,より効率的で相関性が高いことを示す。
  論文  参考訳（メタデータ） (2022-08-26T19:50:46Z)
• Deep Unsupervised Domain Adaptation: A Review of Recent Advances and Perspectives [16.68091981866261]
  対象領域のデータの性能低下に対応するために、教師なし領域適応(UDA)を提案する。 UDAは、自然言語処理、ビデオ解析、自然言語処理、時系列データ分析、医用画像解析など、有望な成果を上げている。
  論文  参考訳（メタデータ） (2022-08-15T20:05:07Z)
• Unsupervised Domain Adaptation for Monocular 3D Object Detection via Self-Training [57.25828870799331]
  我々は、Mono3D上での教師なしドメイン適応のための新しい自己学習フレームワークSTMono3Dを提案する。 対象ドメイン上で適応的な擬似ラベルを生成するための教師学生パラダイムを開発する。 STMono3Dは、評価されたすべてのデータセットで顕著なパフォーマンスを達成し、KITTI 3Dオブジェクト検出データセットの完全な教師付き結果を超えています。
  論文  参考訳（メタデータ） (2022-04-25T12:23:07Z)
• Domain Adaptation for Real-World Single View 3D Reconstruction [1.611271868398988]
  教師なしのドメイン適応は、ラベル付き合成ソースドメインからラベルなしの実際のターゲットドメインに知識を転送するために使用することができる。 本稿では,3次元モデルでは対象のドメインデータが教師されないが,クラスラベルでは教師されないという事実を生かして,新しいアーキテクチャを提案する。 その結果はShapeNetをソースドメインとして、Object Domain Suite(ODDS)データセット内のドメインをターゲットとして実行されます。
  論文  参考訳（メタデータ） (2021-08-24T22:02:27Z)
• Unsupervised Domain Adaptive 3D Detection with Multi-Level Consistency [90.71745178767203]
  ディープラーニングに基づく3Dオブジェクト検出は、大規模な自律走行データセットの出現によって、前例のない成功を収めた。 既存の3Dドメイン適応検出手法は、しばしばターゲットのドメインアノテーションへの事前アクセスを前提とします。 我々は、ソースドメインアノテーションのみを利用する、より現実的な、教師なしの3Dドメイン適応検出について研究する。
  論文  参考訳（メタデータ） (2021-07-23T17:19:23Z)
• Distill and Fine-tune: Effective Adaptation from a Black-box Source Model [138.12678159620248]
  Unsupervised Domain Adapt (UDA) は、既存のラベル付きデータセット (source) の知識を新しいラベル付きデータセット (target) に転送することを目的としています。 Distill and Fine-tune (Dis-tune) という新しい二段階適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-04T05:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。