論文の概要: Agile Multi-Source-Free Domain Adaptation

• arxiv url: http://arxiv.org/abs/2403.05062v1
• Date: Fri, 8 Mar 2024 05:17:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 20:57:44.785996
• Title: Agile Multi-Source-Free Domain Adaptation
• Title（参考訳）: アジャイルのマルチソースフリードメイン適応
• Authors: Xinyao Li, Jingjing Li, Fengling Li, Lei Zhu, Ke Lu
• Abstract要約: Bi-level Attention ENsemble (Bi-ATEN)モジュールは、ドメイン内の重みとドメイン間のアンサンブル重みの両方を学習し、インスタンス特異性とドメイン整合性の微妙なバランスを達成する。 3%未満のトレーニングパラメータと8倍のスループットを持つ、挑戦的なベンチマークであるDomainNetでは、SOTA法と比較して、同等あるいは優れたパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 25.06352660046911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficiently utilizing rich knowledge in pretrained models has become a critical topic in the era of large models. This work focuses on adaptively utilizing knowledge from multiple source-pretrained models to an unlabeled target domain without accessing the source data. Despite being a practically useful setting, existing methods require extensive parameter tuning over each source model, which is computationally expensive when facing abundant source domains or larger source models. To address this challenge, we propose a novel approach which is free of the parameter tuning over source backbones. Our technical contribution lies in the Bi-level ATtention ENsemble (Bi-ATEN) module, which learns both intra-domain weights and inter-domain ensemble weights to achieve a fine balance between instance specificity and domain consistency. By slightly tuning source bottlenecks, we achieve comparable or even superior performance on a challenging benchmark DomainNet with less than 3% trained parameters and 8 times of throughput compared with SOTA method. Furthermore, with minor modifications, the proposed module can be easily equipped to existing methods and gain more than 4% performance boost. Code is available at https://github.com/TL-UESTC/Bi-ATEN.
• Abstract（参考訳）: 事前学習されたモデルで豊かな知識を効率的に利用することは、大規模モデルの時代において重要な話題となっている。 この研究は、複数のソース予測モデルからの知識を、ソースデータにアクセスすることなくラベルなしのターゲットドメインに適応的に活用することに焦点を当てている。 実際に有用な設定であるにもかかわらず、既存の手法では各ソースモデルに対して広範なパラメータチューニングが必要であり、豊富なソースドメインやより大きなソースモデルに直面する場合、計算コストがかかる。 この課題に対処するため,我々はソースバックボーンのパラメータチューニングを不要とした新しいアプローチを提案する。 bi-level attention ensemble (bi-aten) モジュールは、ドメイン内重みとドメイン間アンサンブル重みの両方を学習し、インスタンス特異性とドメイン一貫性の微妙なバランスを達成する。 ソースボトルネックを少し調整することで、3%以下のトレーニングパラメータと8倍のスループットで、挑戦的なベンチマークドメインネットで同等またはそれ以上のパフォーマンスを達成しました。 さらに, 小型化により, 提案モジュールは既存手法に容易に装備でき, 4%以上の性能向上が可能となった。 コードはhttps://github.com/TL-UESTC/Bi-ATEN.comで入手できる。

関連論文リスト

• Train Till You Drop: Towards Stable and Robust Source-free Unsupervised 3D Domain Adaptation [62.889835139583965]
  本研究では,3次元セマンティックセグメンテーションのための非教師なし領域適応(SFUDA)の問題に取り組む。 ソースデータにアクセスすることなく、ラベルのないターゲットドメインでドメイン適応を実行する。 既存のSFUDAアプローチの一般的な問題は、あるトレーニング時間後にパフォーマンスが低下することです。
  論文  参考訳（メタデータ） (2024-09-06T17:13:14Z)
• Few-shot Image Generation via Adaptation-Aware Kernel Modulation [33.191479192580275]
  F SIG(Few-shot Image Generation)は、ドメインから非常に限られた数のサンプルが与えられた場合に、新しく多様なサンプルを生成することを目的としている。 最近の研究は、大規模なソースドメインデータセットで事前訓練されたGANを活用して、トランスファーラーニングアプローチを使用してこの問題に対処している。 本稿では、異なるソース・ターゲット領域近傍の一般F SIGに対処するためのAdaptation-Aware kernel Modulation (AdAM)を提案する。
  論文  参考訳（メタデータ） (2022-10-29T10:26:40Z)
• RAIN: RegulArization on Input and Network for Black-Box Domain Adaptation [80.03883315743715]
  ソースのないドメイン適応は、ソースデータを公開することなく、ソース訓練されたモデルをターゲットドメインに転送する。 このパラダイムは、ソースモデルに対する敵対的な攻撃のため、データ漏洩のリスクがある。 そこで我々は,入力レベルとネットワークレベルの両方の正規化からブラックボックスドメインを適応させる新しい手法であるRAIN(RegulArization on Input and Network)を提案する。
  論文  参考訳（メタデータ） (2022-08-22T18:18:47Z)
• Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
  ドメイン分類は自然言語理解(NLU)の基本課題である 既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。 本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:46:16Z)
• On Universal Black-Box Domain Adaptation [53.7611757926922]
  実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。 ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。 対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
  論文  参考訳（メタデータ） (2021-04-10T02:21:09Z)
• Unsupervised Multi-source Domain Adaptation Without Access to Source Data [58.551861130011886]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインから知識を転送することで、ラベル付きドメインの予測モデルを学ぶことを目的としている。 本稿では,ソースモデルと適切な重み付けを自動的に組み合わせ,少なくとも最良のソースモデルと同等の性能を発揮する新しい効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-05T10:45:12Z)
• Multi-path Neural Networks for On-device Multi-domain Visual Classification [55.281139434736254]
  本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。 提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。 決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
  論文  参考訳（メタデータ） (2020-10-10T05:13:49Z)
• Online Meta-Learning for Multi-Source and Semi-Supervised Domain Adaptation [4.1799778475823315]
  本稿では,既存のDAアルゴリズムの初期条件をメタラーニングすることで,性能向上のためのフレームワークを提案する。 マルチソース非教師付きドメイン適応(MSDA)と半教師付きドメイン適応(SSDA)の両方の変種を提示する。 最大規模のDomainNetを含む,いくつかのDAベンチマークで得られた成果を報告する。
  論文  参考訳（メタデータ） (2020-04-09T07:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。