論文の概要: Decoupled Training: Return of Frustratingly Easy Multi-Domain Learning

• arxiv url: http://arxiv.org/abs/2309.10302v2
• Date: Sun, 18 Feb 2024 02:58:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 06:00:21.124668
• Title: Decoupled Training: Return of Frustratingly Easy Multi-Domain Learning
• Title（参考訳）: Decoupled Training: フラストレーションに易しいマルチドメイン学習の復活
• Authors: Ximei Wang, Junwei Pan, Xingzhuo Guo, Dapeng Liu, Jie Jiang
• Abstract要約: マルチドメイン学習は、複数の重複するが識別できないドメインにわたって、最小限の平均リスクでモデルをトレーニングすることを目的としている。 本稿では,D-Train(Decoupled Training, D-Train)を提案する。 D-Trainは、まずルートモデルを温めるためにすべてのドメインで事前訓練を行い、その後、複数のヘッドに分割して各ドメインでトレーニングを行い、最後にバックボーンを固定して頭部を微調整する3段階の総合訓練戦略である。
• 参考スコア（独自算出の注目度）: 20.17925272562433
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-domain learning (MDL) aims to train a model with minimal average risk across multiple overlapping but non-identical domains. To tackle the challenges of dataset bias and domain domination, numerous MDL approaches have been proposed from the perspectives of seeking commonalities by aligning distributions to reduce domain gap or reserving differences by implementing domain-specific towers, gates, and even experts. MDL models are becoming more and more complex with sophisticated network architectures or loss functions, introducing extra parameters and enlarging computation costs. In this paper, we propose a frustratingly easy and hyperparameter-free multi-domain learning method named Decoupled Training (D-Train). D-Train is a tri-phase general-to-specific training strategy that first pre-trains on all domains to warm up a root model, then post-trains on each domain by splitting into multi-heads, and finally fine-tunes the heads by fixing the backbone, enabling decouple training to achieve domain independence. Despite its extraordinary simplicity and efficiency, D-Train performs remarkably well in extensive evaluations of various datasets from standard benchmarks to applications of satellite imagery and recommender systems.
• Abstract（参考訳）: マルチドメイン学習(mdl)は、重複する複数のドメインに対して、最小平均リスクでモデルをトレーニングすることを目的としている。 データセットバイアスとドメイン支配の課題に対処するために、分布を整列してドメインギャップを減らしたり、ドメイン固有のタワーやゲート、さらには専門家による差異を保ったりすることで共通性を求める多くのMDLアプローチが提案されている。 MDLモデルは、高度なネットワークアーキテクチャや損失関数によってますます複雑になり、余分なパラメータを導入し、計算コストを増大させています。 本稿では,Decoupled Training (D-Train) という名前のマルチドメイン学習手法を提案する。 d-trainは、まずすべてのドメインを事前トレーニングしてルートモデルをウォームアップし、次にマルチヘッドに分割して各ドメインをポストトレーニングし、最終的にバックボーンを固定することでヘッドを微調整し、トレーニングを分離してドメイン独立を達成する3段階のトレーニング戦略である。 d-trainは単純さと効率性にも拘わらず、標準的なベンチマークから衛星画像やレコメンデーションシステムの応用に至るまで、さまざまなデータセットの広範な評価において非常に優れた性能を発揮している。

関連論文リスト

• OurDB: Ouroboric Domain Bridging for Multi-Target Domain Adaptive Semantic Segmentation [8.450397069717727]
  セマンティックセグメンテーションのためのマルチターゲットドメイン適応(MTDA)は、異なる分布を持つ複数のターゲットドメインを含むため、大きな課題となる。 従来のMTDAアプローチでは、複数の教師アーキテクチャを採用しており、各教師はタスクを単純化するために1つのターゲットドメインに特化している。 我々は,単一教師アーキテクチャを用いたMTDA問題に対する効率的な解決策を提供する,OurDB(Ouroboric Domain Bridging)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:55:48Z)
• Adapting Self-Supervised Representations to Multi-Domain Setups [47.03992469282679]
  現在の最先端の自己教師型アプローチは、個々のドメインで訓練するときに有効であるが、目に見えないドメインでは限定的な一般化を示す。 本稿では,汎用的で軽量なドメイン・ディスタングル・モジュールを提案する。
  論文  参考訳（メタデータ） (2023-09-07T20:05:39Z)
• NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• CADA: Multi-scale Collaborative Adversarial Domain Adaptation for Unsupervised Optic Disc and Cup Segmentation [3.587294308501889]
  CADA(Collaborative Adrial Domain Adaptation)と呼ばれる新しい教師なしドメイン適応フレームワークを提案する。 提案するCADAは,異なるネットワーク層における対角学習とアンサンブル重みの両面から,対話的な協調的適応を示すパラダイムである。 マルチスケールな入力学習を取り入れたCADAモデルは、性能劣化を克服し、最先端のドメイン適応手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-05T23:44:26Z)
• Multi-Domain Adversarial Feature Generalization for Person Re-Identification [52.835955258959785]
  マルチデータセット特徴一般化ネットワーク(MMFA-AAE)を提案する。 複数のラベル付きデータセットから普遍的なドメイン不変の特徴表現を学習し、それを見えないカメラシステムに一般化することができる。 また、最先端の教師付き手法や教師なしのドメイン適応手法を大きなマージンで超えている。
  論文  参考訳（メタデータ） (2020-11-25T08:03:15Z)
• Multi-path Neural Networks for On-device Multi-domain Visual Classification [55.281139434736254]
  本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。 提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。 決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
  論文  参考訳（メタデータ） (2020-10-10T05:13:49Z)
• Mutual Learning Network for Multi-Source Domain Adaptation [73.25974539191553]
  ML-MSDA(Multial Learning Network for Multiple Source Domain Adaptation)を提案する。 相互学習の枠組みのもと,提案手法は対象ドメインと各ソースドメインをペアリングし,条件付き対向ドメイン適応ネットワークを分岐ネットワークとして訓練する。 提案手法は, 比較手法より優れ, 最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-03-29T04:31:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。