論文の概要: Dual-Teacher Distillation with Subnetwork Rectification for Black-Box Domain Adaptation

• arxiv url: http://arxiv.org/abs/2603.22908v1
• Date: Tue, 24 Mar 2026 07:54:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.36838
• Title: Dual-Teacher Distillation with Subnetwork Rectification for Black-Box Domain Adaptation
• Title（参考訳）: ブラックボックス領域適応のためのサブネットワーク強化によるデュアルティーラー蒸留
• Authors: Zhe Zhang, Jing Li, Wanli Xue, Xu Cheng, Jianhua Zhang, Qinghua Hu, Shengyong Chen,
• Abstract要約: ブラックボックスドメイン適応は、非常に実用的で非常に困難な設定である。 ブラックボックスソースモデルに埋め込まれた特定の知識を活用するサブネットワーク整合モデル(DDSR)を用いた二重蒸留法を提案する。 我々の手法は、ソースデータやモデルの使用を含む、最先端の手法に対する一貫した改善を実証する。
• 参考スコア（独自算出の注目度）: 69.7036779439312
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Assuming that neither source data nor the source model is accessible, black box domain adaptation represents a highly practical yet extremely challenging setting, as transferable information is restricted to the predictions of the black box source model, which can only be queried using target samples. Existing approaches attempt to extract transferable knowledge through pseudo label refinement or by leveraging external vision language models (ViLs), but they often suffer from noisy supervision or insufficient utilization of the semantic priors provided by ViLs, which ultimately hinder adaptation performance. To overcome these limitations, we propose a dual teacher distillation with subnetwork rectification (DDSR) model that jointly exploits the specific knowledge embedded in black box source models and the general semantic information of a ViL. DDSR adaptively integrates their complementary predictions to generate reliable pseudo labels for the target domain and introduces a subnetwork driven regularization strategy to mitigate overfitting caused by noisy supervision. Furthermore, the refined target predictions iteratively enhance both the pseudo labels and ViL prompts, enabling more accurate and semantically consistent adaptation. Finally, the target model is further optimized through self training with classwise prototypes. Extensive experiments on multiple benchmark datasets validate the effectiveness of our approach, demonstrating consistent improvements over state of the art methods, including those using source data or models.
• Abstract（参考訳）: ソースデータもソースモデルもアクセスできないと仮定すると、ブラックボックスのドメイン適応は非常に実用的かつ極めて困難な設定であり、転送可能な情報はターゲットサンプルを使用してのみクエリできるブラックボックスのソースモデルの予測に制限される。 既存のアプローチでは、擬似ラベルリファインメントや外部視覚言語モデル(ViL)を活用して、伝達可能な知識を抽出しようとするが、VLが提供したセマンティックプリエントをノイズの多い監視や不十分な利用に悩まされ、最終的には適応性能を損なう。 これらの制約を克服するために,ブラックボックスソースモデルに埋め込まれた特定の知識とViLの一般的な意味情報とを共同で活用するサブネットワーク整合(DDSR)モデルを用いた二重蒸留法を提案する。 DDSRは、それらの補完的予測を適応的に統合し、ターゲットドメインの信頼性の高い擬似ラベルを生成し、ノイズによるオーバーフィッティングを軽減するためにサブネットワーク駆動の正規化戦略を導入する。 さらに、改良されたターゲット予測は擬似ラベルとViLプロンプトの両方を反復的に強化し、より正確で意味的に一貫した適応を可能にする。 最後に、ターゲットモデルは、クラスワイドプロトタイプによる自己訓練によってさらに最適化される。 複数のベンチマークデータセットに対する大規模な実験は、我々のアプローチの有効性を検証し、ソースデータやモデルの使用を含む最先端の手法に対する一貫した改善を実証する。

関連論文リスト

• Conformal Prediction for Zero-Shot Models [20.94974284175104]
  分割共形予測パラダイムに基づくCLIPモデルの能力について検討する。 本稿では、キャリブレーションとクエリセットを併用してトランスダクティブを動作させるトランスダクティブ学習環境であるConf-OTを提案する。
  論文  参考訳（メタデータ） (2025-05-30T15:16:19Z)
• Source-free Semantic Regularization Learning for Semi-supervised Domain Adaptation [25.51051224329922]
  半教師付きドメイン適応(SSDA)は、モデルの分類性能と一般化能力を改善する能力により、広範囲に研究されている。 意味正規化学習(SERL)と呼ばれる新しいSSDA学習フレームワークを提案する。 SERLは、正規化学習の複数の視点からターゲット意味情報をキャプチャし、ターゲットドメイン上のソース事前学習モデルの適応的な微調整を実現する。
  論文  参考訳（メタデータ） (2025-01-02T07:53:02Z)
• Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
  ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。 本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。 本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
  論文  参考訳（メタデータ） (2024-07-26T17:51:58Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• ViDA: Homeostatic Visual Domain Adapter for Continual Test Time Adaptation [48.039156140237615]
  目標ドメインの継続的な変更に事前訓練されたモデルを適用するために、連続的なテスト時間適応タスクを提案する。 我々はCTTA用のVisual Domain Adapter (ViDA) を設計し、ドメイン固有知識とドメイン共有知識の両方を明示的に扱う。 提案手法は,CTTAタスクの分類とセグメント化の両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-06-07T11:18:53Z)
• Confidence Attention and Generalization Enhanced Distillation for Continuous Video Domain Adaptation [62.458968086881555]
  連続ビデオドメイン適応(CVDA、Continuous Video Domain Adaptation)は、ソースモデルが個々の変更対象ドメインに適応する必要があるシナリオである。 CVDAの課題に対処するため,遺伝子組み換え型自己知識解離(CART)を用いた信頼性保証ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-18T16:40:10Z)
• RAIN: RegulArization on Input and Network for Black-Box Domain Adaptation [80.03883315743715]
  ソースのないドメイン適応は、ソースデータを公開することなく、ソース訓練されたモデルをターゲットドメインに転送する。 このパラダイムは、ソースモデルに対する敵対的な攻撃のため、データ漏洩のリスクがある。 そこで我々は,入力レベルとネットワークレベルの両方の正規化からブラックボックスドメインを適応させる新しい手法であるRAIN(RegulArization on Input and Network)を提案する。
  論文  参考訳（メタデータ） (2022-08-22T18:18:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。