論文の概要: Incorporating Pre-training Data Matters in Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2308.03097v2
• Date: Wed, 18 Jun 2025 12:18:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.29706
• Title: Incorporating Pre-training Data Matters in Unsupervised Domain Adaptation
• Title（参考訳）: 教師なしドメイン適応における事前学習データの導入
• Authors: Yinsong Xu, Aidong Men, Yang Liu, Xiahai Zhuang, Qingchao Chen,
• Abstract要約: ディープラーニングでは、事前訓練された重み付きモデルの初期化が、様々な下流タスクの事実上の実践となっている。 多くの教師なしドメイン適応(UDA)メソッドは、一般的にImageNetで事前訓練されたバックボーンを採用する。 本稿では,事前学習が適応に与える影響に対処する新しいフレームワークTriDAを提案する。
• 参考スコア（独自算出の注目度）: 29.989907089369375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In deep learning, initializing models with pre-trained weights has become the de facto practice for various downstream tasks. Many unsupervised domain adaptation (UDA) methods typically adopt a backbone pre-trained on ImageNet, and focus on reducing the source-target domain discrepancy. However, the impact of pre-training on adaptation received little attention. In this study, we delve into UDA from the novel perspective of pre-training. We first demonstrate the impact of pre-training by analyzing the dynamic distribution discrepancies between pre-training data domain and the source/ target domain during adaptation. Then, we reveal that the target error also stems from the pre-training in the following two factors: 1) empirically, target error arises from the gradually degenerative pre-trained knowledge during adaptation; 2) theoretically, the error bound depends on difference between the gradient of loss function, \ie, on the target domain and pre-training data domain. To address these two issues, we redefine UDA as a three-domain problem, \ie, source domain, target domain, and pre-training data domain; then we propose a novel framework, named TriDA. We maintain the pre-trained knowledge and improve the error bound by incorporating pre-training data into adaptation for both vanilla UDA and source-free UDA scenarios. For efficiency, we introduce a selection strategy for pre-training data, and offer a solution with synthesized images when pre-training data is unavailable during adaptation. Notably, TriDA is effective even with a small amount of pre-training or synthesized images, and seamlessly complements the two scenario UDA methods, demonstrating state-of-the-art performance across multiple benchmarks. We hope our work provides new insights for better understanding and application of domain adaptation.
• Abstract（参考訳）: ディープラーニングでは、事前訓練された重み付きモデルの初期化が、様々な下流タスクの事実上の実践となっている。 多くの教師なしドメイン適応(UDA)メソッドは、一般的にImageNetで事前訓練されたバックボーンを採用し、ソースとターゲットのドメインの差を減らすことに重点を置いている。 しかし、事前訓練が適応に与える影響はほとんど注目されなかった。 本研究では, プレトレーニングの新たな視点から, UDAを掘り下げる。 まず、事前学習データ領域と、適応中のソース/ターゲット領域との動的分布の差異を分析することにより、事前学習の影響を実証する。 そして,対象誤差は,次の2つの要因の事前学習に由来することも明らかにした。 1) 実験上,目標誤差は,適応中に徐々に変性した事前学習知識から生じる。 2) 理論的には, 誤差境界は, 対象領域における損失関数の勾配, \ie と事前学習データ領域との差に依存する。 これら2つの問題に対処するため、UDAをソースドメイン、ターゲットドメイン、事前学習データドメインの3つの領域問題として再定義し、TriDAという新しいフレームワークを提案する。 我々は、事前学習した知識を維持し、事前学習したデータをバニラUDAシナリオとソースフリーUDAシナリオの両方に適応させることで、エラー境界を改善する。 効率向上のために,事前学習データの選択戦略を導入し,事前学習データが適応中に利用できない場合に,合成画像を用いたソリューションを提供する。 特に、TriDAは、少量の事前トレーニングや合成画像でも有効であり、2つのシナリオ UDA メソッドをシームレスに補完し、複数のベンチマークで最先端のパフォーマンスを示す。 私たちは、ドメイン適応をよりよく理解し、適用するための新しい洞察を提供してくれることを願っています。

関連論文リスト

• CMDA: Cross-Modal and Domain Adversarial Adaptation for LiDAR-Based 3D Object Detection [14.063365469339812]
  LiDARベースの3Dオブジェクト検出法は、ソース(またはトレーニング)データ配布の外部のターゲットドメインにうまく一般化しないことが多い。 画像のモダリティから視覚的セマンティックキューを活用する,CMDA (unsupervised domain adaptation) と呼ばれる新しい手法を提案する。 また、自己学習に基づく学習戦略を導入し、モデルが逆向きに訓練され、ドメイン不変の機能を生成する。
  論文  参考訳（メタデータ） (2024-03-06T14:12:38Z)
• Unsupervised Adaptation of Polyp Segmentation Models via Coarse-to-Fine Self-Supervision [16.027843524655516]
  本稿では,アノテートされたソースデータへの依存を解消する,ソースフリードメイン適応(Source-Free Domain Adaptation, SFDA)の実践的問題について検討する。 現在のSFDA法は、ソーストレーニングされたモデルからドメイン知識を抽出することに重点を置いているが、対象ドメインの本質的な構造を無視している。 本稿では,領域レベルと画素レベルの識別表現を粗大な自己超越によって学習する,領域間適応ネットワーク(RPANet)と呼ばれる新しいSFDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-13T02:37:08Z)
• Domain Adaptive and Generalizable Network Architectures and Training Strategies for Semantic Image Segmentation [108.33885637197614]
  教師なしドメイン適応(UDA)とドメイン一般化(DG)により、ソースドメインでトレーニングされた機械学習モデルは、ラベルなしまたは目に見えないターゲットドメインでうまく機能する。 UDA&DGのマルチレゾリューション・フレームワークであるHRDAを提案する。このフレームワークは、細かなセグメンテーションの詳細を保存するための小さな高分解能作物の強度と、学習されたスケールの注意を伴って長距離のコンテキスト依存を捕捉する大規模な低分解能作物の強度を組み合わせたものである。
  論文  参考訳（メタデータ） (2023-04-26T15:18:45Z)
• SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
  我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。 両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。 実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
  論文  参考訳（メタデータ） (2023-04-06T17:36:23Z)
• Domain-aware Triplet loss in Domain Generalization [0.0]
  ドメインシフトは、テストとトレーニングデータの分布の相違によって引き起こされる。 ドメイン一般化のためのドメイン認識三重項損失を設計し、モデルが類似のセマンティックな特徴をクラスタリングするのを助ける。 本アルゴリズムは,埋め込み空間におけるドメイン情報を分散するように設計されている。
  論文  参考訳（メタデータ） (2023-03-01T14:02:01Z)
• Domain Adaptation with Adversarial Training on Penultimate Activations [82.9977759320565]
  教師なし領域適応(Unsupervised Domain Adaptation, UDA)の重要な目的は、ラベルなし対象データに対するモデル予測の信頼性を高めることである。 我々は,この戦略が,入力画像や中間特徴に対する敵対的訓練よりも予測信頼性を高める目的と,より効率的で相関性が高いことを示す。
  論文  参考訳（メタデータ） (2022-08-26T19:50:46Z)
• Deep Unsupervised Domain Adaptation: A Review of Recent Advances and Perspectives [16.68091981866261]
  対象領域のデータの性能低下に対応するために、教師なし領域適応(UDA)を提案する。 UDAは、自然言語処理、ビデオ解析、自然言語処理、時系列データ分析、医用画像解析など、有望な成果を上げている。
  論文  参考訳（メタデータ） (2022-08-15T20:05:07Z)
• Unsupervised Domain Adaptation for Monocular 3D Object Detection via Self-Training [57.25828870799331]
  我々は、Mono3D上での教師なしドメイン適応のための新しい自己学習フレームワークSTMono3Dを提案する。 対象ドメイン上で適応的な擬似ラベルを生成するための教師学生パラダイムを開発する。 STMono3Dは、評価されたすべてのデータセットで顕著なパフォーマンスを達成し、KITTI 3Dオブジェクト検出データセットの完全な教師付き結果を超えています。
  論文  参考訳（メタデータ） (2022-04-25T12:23:07Z)
• Domain Adaptation for Real-World Single View 3D Reconstruction [1.611271868398988]
  教師なしのドメイン適応は、ラベル付き合成ソースドメインからラベルなしの実際のターゲットドメインに知識を転送するために使用することができる。 本稿では,3次元モデルでは対象のドメインデータが教師されないが,クラスラベルでは教師されないという事実を生かして,新しいアーキテクチャを提案する。 その結果はShapeNetをソースドメインとして、Object Domain Suite(ODDS)データセット内のドメインをターゲットとして実行されます。
  論文  参考訳（メタデータ） (2021-08-24T22:02:27Z)
• Unsupervised Domain Adaptive 3D Detection with Multi-Level Consistency [90.71745178767203]
  ディープラーニングに基づく3Dオブジェクト検出は、大規模な自律走行データセットの出現によって、前例のない成功を収めた。 既存の3Dドメイン適応検出手法は、しばしばターゲットのドメインアノテーションへの事前アクセスを前提とします。 我々は、ソースドメインアノテーションのみを利用する、より現実的な、教師なしの3Dドメイン適応検出について研究する。
  論文  参考訳（メタデータ） (2021-07-23T17:19:23Z)
• Distill and Fine-tune: Effective Adaptation from a Black-box Source Model [138.12678159620248]
  Unsupervised Domain Adapt (UDA) は、既存のラベル付きデータセット (source) の知識を新しいラベル付きデータセット (target) に転送することを目的としています。 Distill and Fine-tune (Dis-tune) という新しい二段階適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-04T05:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。