論文の概要: Meta-DMoE: Adapting to Domain Shift by Meta-Distillation from Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2210.03885v1
• Date: Sat, 8 Oct 2022 02:28:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 15:23:10.535727
• Title: Meta-DMoE: Adapting to Domain Shift by Meta-Distillation from Mixture-of-Experts
• Title（参考訳）: メタDMoE: メタ蒸留によるドメインシフトへの適応
• Authors: Tao Zhong, Zhixiang Chi, Li Gu, Yang Wang, Yuanhao Yu, Jin Tang
• Abstract要約: 既存のほとんどのメソッドは、単一のモデルを使って複数のソースドメインでトレーニングを行います。 本稿では,知識蒸留プロセスとして定式化された非教師なし試験時間適応のための新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 33.21435044949033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we tackle the problem of domain shift. Most existing methods perform training on multiple source domains using a single model, and the same trained model is used on all unseen target domains. Such solutions are sub-optimal as each target domain exhibits its own speciality, which is not adapted. Furthermore, expecting the single-model training to learn extensive knowledge from the multiple source domains is counterintuitive. The model is more biased toward learning only domain-invariant features and may result in negative knowledge transfer. In this work, we propose a novel framework for unsupervised test-time adaptation, which is formulated as a knowledge distillation process to address domain shift. Specifically, we incorporate Mixture-of-Experts (MoE) as teachers, where each expert is separately trained on different source domains to maximize their speciality. Given a test-time target domain, a small set of unlabeled data is sampled to query the knowledge from MoE. As the source domains are correlated to the target domains, a transformer-based aggregator then combines the domain knowledge by examining the interconnection among them. The output is treated as a supervision signal to adapt a student prediction network toward the target domain. We further employ meta-learning to enforce the aggregator to distill positive knowledge and the student network to achieve fast adaptation. Extensive experiments demonstrate that the proposed method outperforms the state-of-the-art and validates the effectiveness of each proposed component. Our code is available at https://github.com/n3il666/Meta-DMoE.
• Abstract（参考訳）: 本稿では,ドメインシフトの問題に取り組む。 既存のほとんどのメソッドは単一のモデルを使って複数のソースドメインでトレーニングを行い、同じトレーニングされたモデルがすべての未確認ターゲットドメインで使用されている。 このような解は、各対象領域が独自の特殊性を示し、適用されないため、準最適である。 さらに、複数のソースドメインから広範な知識を学ぶための単一モデルのトレーニングを期待することは直観に反する。 このモデルは、ドメイン不変の特徴のみを学ぶことに偏りがあり、負の知識伝達をもたらす可能性がある。 本研究では,ドメインシフトに対処するための知識蒸留プロセスとして定式化された,教師なしテスト時間適応のための新しいフレームワークを提案する。 具体的には,moe (mixed-of-experts) を教員として取り入れ,各専門家はそれぞれの専門性を最大化するために,異なるソースドメインで個別に訓練される。 テストタイムターゲットドメインが与えられたら、ラベルなしデータの小さなセットをサンプリングして、MoEから知識を問い合わせる。 ソースドメインは対象ドメインと相関しているため、トランスフォーマーベースのアグリゲータは、それらの相互接続を調べてドメイン知識を組み合わせる。 出力を監視信号として処理し、学生予測ネットワークを対象領域に適応させる。 我々はさらにメタラーニングを用いて、肯定的な知識と学生ネットワークを抽出し、迅速な適応を実現する。 実験により,提案手法は最先端技術より優れ,各部品の有効性が検証された。 私たちのコードはhttps://github.com/n3il666/Meta-DMoEで利用可能です。

関連論文リスト

• Adapting to Distribution Shift by Visual Domain Prompt Generation [34.19066857066073]
  いくつかのラベルのないデータを使って、テスト時にモデルを適応し、分散シフトに対処する。 ソースドメインから移行可能な知識を学ぶための知識銀行を構築します。 提案手法は,WILDSやDomainNetを含む5つの大規模ベンチマークにおいて,従来よりも優れている。
  論文  参考訳（メタデータ） (2024-05-05T02:44:04Z)
• Revisiting the Domain Shift and Sample Uncertainty in Multi-source Active Domain Transfer [69.82229895838577]
  Active Domain Adaptation (ADA)は、アノテートするターゲットデータの限られた数を選択することで、新しいターゲットドメインにおけるモデル適応を最大限に向上することを目的としている。 この設定は、複数のソースからトレーニングデータを収集するより実践的なシナリオを無視します。 これは、ADAを単一のソースドメインから複数のソースドメインに拡張する、新しい、挑戦的な知識転送の設定を目標にしています。
  論文  参考訳（メタデータ） (2023-11-21T13:12:21Z)
• Meta-causal Learning for Single Domain Generalization [102.53303707563612]
  単一ドメインの一般化は、単一のトレーニングドメイン(ソースドメイン)からモデルを学び、それを複数の未確認テストドメイン(ターゲットドメイン)に適用することを目的としている。 既存の方法は、ターゲットドメインをカバーするためのトレーニングドメインの配布拡大に重点を置いているが、ソースとターゲットドメイン間のドメインシフトを見積もることはできない。 そこで本研究では,まず,対象ドメインとして補助ドメインを構築することによってドメインシフトをシミュレートし,ドメインシフトの原因を解析し,最終的にモデル適応のためのドメインシフトを低減する,新たな学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-07T15:46:38Z)
• Bidirectional Domain Mixup for Domain Adaptive Semantic Segmentation [73.3083304858763]
  本稿では,ドメイン適応型セマンティックセグメンテーションタスクにおけるミックスアップの影響を系統的に研究する。 具体的には、ドメインミックスアップをカットとペーストという2ステップで実現します。 フレームワークの主なコンポーネントを実証的に検証するために、広範囲にわたるアブレーション実験を行います。
  論文  参考訳（メタデータ） (2023-03-17T05:22:44Z)
• Few-shot Image Generation via Adaptation-Aware Kernel Modulation [33.191479192580275]
  F SIG(Few-shot Image Generation)は、ドメインから非常に限られた数のサンプルが与えられた場合に、新しく多様なサンプルを生成することを目的としている。 最近の研究は、大規模なソースドメインデータセットで事前訓練されたGANを活用して、トランスファーラーニングアプローチを使用してこの問題に対処している。 本稿では、異なるソース・ターゲット領域近傍の一般F SIGに対処するためのAdaptation-Aware kernel Modulation (AdAM)を提案する。
  論文  参考訳（メタデータ） (2022-10-29T10:26:40Z)
• MultiMatch: Multi-task Learning for Semi-supervised Domain Generalization [55.06956781674986]
  我々は、各ソースドメインにいくつかのラベル情報がある半教師付きドメイン一般化タスクの解決に頼っている。 我々は、MultiMatchを提案し、FixMatchをマルチタスク学習フレームワークに拡張し、SSDGのための高品質な擬似ラベルを生成する。 提案手法の有効性を検証し,いくつかのベンチマークDGデータセット上で既存の半教師付き手法とSSDG法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-11T14:44:33Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• Multilevel Knowledge Transfer for Cross-Domain Object Detection [26.105283273950942]
  ドメインシフトは、特定のドメイン(ソース)でトレーニングされたモデルが、異なるドメイン(ターゲット)のサンプルに露出しても、うまく動作しない、よく知られた問題である。 本研究では,オブジェクト検出タスクにおける領域シフト問題に対処する。 私たちのアプローチは、ソースとターゲットドメイン間のドメインシフトを徐々に削除することに依存しています。
  論文  参考訳（メタデータ） (2021-08-02T15:24:40Z)
• Multi-Target Domain Adaptation with Collaborative Consistency Learning [105.7615147382486]
  教師なしマルチターゲットドメイン適応を実現するための協調学習フレームワークを提案する。 提案手法は,ラベル付きソースドメインとラベルなしターゲットドメインの両方に含まれるリッチな構造化情報を効果的に利用することができる。
  論文  参考訳（メタデータ） (2021-06-07T08:36:20Z)
• Contradistinguisher: A Vapnik's Imperative to Unsupervised Domain Adaptation [7.538482310185133]
  本研究では,コントラスト特徴を学習するContradistinguisherと呼ばれるモデルを提案する。 Office-31とVisDA-2017における最先端のデータセットを、シングルソースとマルチソースの両方で実現しています。
  論文  参考訳（メタデータ） (2020-05-25T19:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。