Fugu-MT 論文翻訳(概要): Agile Multi-Source-Free Domain Adaptation

論文の概要: Agile Multi-Source-Free Domain Adaptation

arxiv url: http://arxiv.org/abs/2403.05062v1
Date: Fri, 8 Mar 2024 05:17:10 GMT
ステータス: 翻訳完了
システム内更新日: 2024-03-11 20:57:44.785996
Title: Agile Multi-Source-Free Domain Adaptation
Title（参考訳）: アジャイルのマルチソースフリードメイン適応
Authors: Xinyao Li, Jingjing Li, Fengling Li, Lei Zhu, Ke Lu
Abstract要約: Bi-level Attention ENsemble (Bi-ATEN)モジュールは、ドメイン内の重みとドメイン間のアンサンブル重みの両方を学習し、インスタンス特異性とドメイン整合性の微妙なバランスを達成する。 3%未満のトレーニングパラメータと8倍のスループットを持つ、挑戦的なベンチマークであるDomainNetでは、SOTA法と比較して、同等あるいは優れたパフォーマンスを実現しています。
参考スコア（独自算出の注目度）: 25.06352660046911
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Efficiently utilizing rich knowledge in pretrained models has become a critical topic in the era of large models. This work focuses on adaptively utilizing knowledge from multiple source-pretrained models to an unlabeled target domain without accessing the source data. Despite being a practically useful setting, existing methods require extensive parameter tuning over each source model, which is computationally expensive when facing abundant source domains or larger source models. To address this challenge, we propose a novel approach which is free of the parameter tuning over source backbones. Our technical contribution lies in the Bi-level ATtention ENsemble (Bi-ATEN) module, which learns both intra-domain weights and inter-domain ensemble weights to achieve a fine balance between instance specificity and domain consistency. By slightly tuning source bottlenecks, we achieve comparable or even superior performance on a challenging benchmark DomainNet with less than 3% trained parameters and 8 times of throughput compared with SOTA method. Furthermore, with minor modifications, the proposed module can be easily equipped to existing methods and gain more than 4% performance boost. Code is available at https://github.com/TL-UESTC/Bi-ATEN.
Abstract（参考訳）: 事前学習されたモデルで豊かな知識を効率的に利用することは、大規模モデルの時代において重要な話題となっている。この研究は、複数のソース予測モデルからの知識を、ソースデータにアクセスすることなくラベルなしのターゲットドメインに適応的に活用することに焦点を当てている。実際に有用な設定であるにもかかわらず、既存の手法では各ソースモデルに対して広範なパラメータチューニングが必要であり、豊富なソースドメインやより大きなソースモデルに直面する場合、計算コストがかかる。この課題に対処するため,我々はソースバックボーンのパラメータチューニングを不要とした新しいアプローチを提案する。 bi-level attention ensemble (bi-aten) モジュールは、ドメイン内重みとドメイン間アンサンブル重みの両方を学習し、インスタンス特異性とドメイン一貫性の微妙なバランスを達成する。ソースボトルネックを少し調整することで、3%以下のトレーニングパラメータと8倍のスループットで、挑戦的なベンチマークドメインネットで同等またはそれ以上のパフォーマンスを達成しました。さらに, 小型化により, 提案モジュールは既存手法に容易に装備でき, 4%以上の性能向上が可能となった。コードはhttps://github.com/TL-UESTC/Bi-ATEN.comで入手できる。

関連論文リスト

PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
論文参考訳（メタデータ） (2025-04-22T16:41:21Z)
One-Shot Federated Unsupervised Domain Adaptation with Scaled Entropy Attention and Multi-Source Smoothed Pseudo Labeling [21.59850502993888]
Federated Learning(FL)は、プライバシ保護による協調学習のための有望なアプローチである。本稿では,これらの制約に対処する一発のフェデレーション・アントラクテッド・ドメイン適応(FUDA)手法を提案する。具体的には,モデルアグリゲーションのためのSEA(Scaled Entropy Attention)と,ターゲット領域適応のためのMSPL(Multi-Source Pseudo Labeling)を紹介する。
論文参考訳（メタデータ） (2025-03-13T03:59:51Z)
Similarity-Based Domain Adaptation with LLMs [13.692329347889212]
教師なしのドメイン適応は、様々なソースドメインからの豊富なラベル付きデータを活用し、ラベルなしのターゲットデータに一般化する。本稿では,Large Language Models(LLM)の印象的な一般化機能をターゲットデータアノテーションに活用する,シンプルなフレームワークを提案する。我々のフレームワークは,SOTA法と比較して2.44%の精度向上を実現している。
論文参考訳（メタデータ） (2025-03-07T09:51:07Z)
Gradual Fine-Tuning with Graph Routing for Multi-Source Unsupervised Domain Adaptation [5.125509132300994]
マルチソースアン教師付きドメイン適応は、機械学習モデルをトレーニングするために、複数のソースドメインからのラベル付きデータを活用することを目的としている。複数のソースドメイン上の機械学習モデルの段階的微調整(GFT)フレームワークを提案する。
論文参考訳（メタデータ） (2024-11-11T17:59:21Z)
Train Till You Drop: Towards Stable and Robust Source-free Unsupervised 3D Domain Adaptation [62.889835139583965]
本研究では,3次元セマンティックセグメンテーションのための非教師なし領域適応(SFUDA)の問題に取り組む。ソースデータにアクセスすることなく、ラベルのないターゲットドメインでドメイン適応を実行する。既存のSFUDAアプローチの一般的な問題は、あるトレーニング時間後にパフォーマンスが低下することです。
論文参考訳（メタデータ） (2024-09-06T17:13:14Z)
Memory-Efficient Pseudo-Labeling for Online Source-Free Universal Domain Adaptation using a Gaussian Mixture Model [3.1265626879839923]
実際には、トレーニングデータとテストデータの間にドメインシフトが発生する可能性があり、トレーニング済みのソースモデルをターゲットドメインに調整するためには、ドメイン適応(DA)が必要である。 UniDAは、ソースとターゲットドメインの間の追加のカテゴリ(ラベル)シフトの可能性に対処するために注目を集めている。ガウス混合モデル(GMM)を用いて特徴空間における既知のクラス分布を連続的にキャプチャする新しい手法を提案する。このアプローチは、DomainNetおよびOffice-Homeデータセットに関するすべての実験において、最先端の結果を達成する。
論文参考訳（メタデータ） (2024-07-19T11:13:31Z)
Few-shot Image Generation via Adaptation-Aware Kernel Modulation [33.191479192580275]
F SIG(Few-shot Image Generation)は、ドメインから非常に限られた数のサンプルが与えられた場合に、新しく多様なサンプルを生成することを目的としている。最近の研究は、大規模なソースドメインデータセットで事前訓練されたGANを活用して、トランスファーラーニングアプローチを使用してこの問題に対処している。本稿では、異なるソース・ターゲット領域近傍の一般F SIGに対処するためのAdaptation-Aware kernel Modulation (AdAM)を提案する。
論文参考訳（メタデータ） (2022-10-29T10:26:40Z)
RAIN: RegulArization on Input and Network for Black-Box Domain Adaptation [80.03883315743715]
ソースのないドメイン適応は、ソースデータを公開することなく、ソース訓練されたモデルをターゲットドメインに転送する。このパラダイムは、ソースモデルに対する敵対的な攻撃のため、データ漏洩のリスクがある。そこで我々は,入力レベルとネットワークレベルの両方の正規化からブラックボックスドメインを適応させる新しい手法であるRAIN(RegulArization on Input and Network)を提案する。
論文参考訳（メタデータ） (2022-08-22T18:18:47Z)
Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
ドメイン分類は自然言語理解(NLU)の基本課題である既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
論文参考訳（メタデータ） (2022-01-05T02:46:16Z)
On Universal Black-Box Domain Adaptation [53.7611757926922]
実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
論文参考訳（メタデータ） (2021-04-10T02:21:09Z)
Unsupervised Multi-source Domain Adaptation Without Access to Source Data [58.551861130011886]
Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインから知識を転送することで、ラベル付きドメインの予測モデルを学ぶことを目的としている。本稿では,ソースモデルと適切な重み付けを自動的に組み合わせ,少なくとも最良のソースモデルと同等の性能を発揮する新しい効率的なアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-04-05T10:45:12Z)
Multi-path Neural Networks for On-device Multi-domain Visual Classification [55.281139434736254]
本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
論文参考訳（メタデータ） (2020-10-10T05:13:49Z)
Online Meta-Learning for Multi-Source and Semi-Supervised Domain Adaptation [4.1799778475823315]
本稿では,既存のDAアルゴリズムの初期条件をメタラーニングすることで,性能向上のためのフレームワークを提案する。マルチソース非教師付きドメイン適応(MSDA)と半教師付きドメイン適応(SSDA)の両方の変種を提示する。最大規模のDomainNetを含む,いくつかのDAベンチマークで得られた成果を報告する。
論文参考訳（メタデータ） (2020-04-09T07:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。