論文の概要: Rehearsal-free Federated Domain-incremental Learning

• arxiv url: http://arxiv.org/abs/2405.13900v1
• Date: Wed, 22 May 2024 18:13:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 20:43:22.439937
• Title: Rehearsal-free Federated Domain-incremental Learning
• Title（参考訳）: Rehearsal-free Federated Domain-Incremental Learning
• Authors: Rui Sun, Haoran Duan, Jiahua Dong, Varun Ojha, Tejal Shah, Rajiv Ranjan,
• Abstract要約: RefFiLは、リハーサルのないフェデレーションドメインインクリメンタルラーニングフレームワークである。 我々は、フェデレートされたドメイン・インクリメンタル・ラーニングにおける破滅的な忘れ課題を軽減するために、グローバルなプロンプト・シェアリング・パラダイムを導入する。
• 参考スコア（独自算出の注目度）: 17.719636172136344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a rehearsal-free federated domain incremental learning framework, RefFiL, based on a global prompt-sharing paradigm to alleviate catastrophic forgetting challenges in federated domain-incremental learning, where unseen domains are continually learned. Typical methods for mitigating forgetting, such as the use of additional datasets and the retention of private data from earlier tasks, are not viable in federated learning (FL) due to devices' limited resources. Our method, RefFiL, addresses this by learning domain-invariant knowledge and incorporating various domain-specific prompts from the domains represented by different FL participants. A key feature of RefFiL is the generation of local fine-grained prompts by our domain adaptive prompt generator, which effectively learns from local domain knowledge while maintaining distinctive boundaries on a global scale. We also introduce a domain-specific prompt contrastive learning loss that differentiates between locally generated prompts and those from other domains, enhancing RefFiL's precision and effectiveness. Compared to existing methods, RefFiL significantly alleviates catastrophic forgetting without requiring extra memory space, making it ideal for privacy-sensitive and resource-constrained devices.
• Abstract（参考訳）: リハーサルのないフェデレーションドメインインクリメンタルラーニングフレームワークRefFiLを導入し、フェデレーションドメインインクリメンタルラーニングにおける破滅的な忘れ課題を軽減し、目に見えないドメインを継続的に学習するグローバルなプロンプト共有パラダイムをベースとした。 追加データセットの使用や以前のタスクからのプライベートデータの保持といった、忘れを緩和する典型的な方法は、デバイスの限られたリソースのために、連邦学習(FL)では不可能である。 RefFiLはドメイン不変知識を学習し、異なるFL参加者によって表現されるドメインから様々なドメイン固有プロンプトを取り入れることでこの問題に対処する。 RefFiLの重要な特徴は、ドメイン適応型プロンプトジェネレータによる局所的なきめ細かいプロンプトの生成である。 また、局所的に生成されたプロンプトと他のドメインとの違いを区別し、RefFiLの精度と有効性を向上するドメイン固有のプロンプト学習損失を導入する。 既存の方法と比較して、RefFiLは余分なメモリスペースを必要とせずに壊滅的な忘れを著しく軽減し、プライバシに敏感でリソースに制約のあるデバイスに最適である。

関連論文リスト

• DiPrompT: Disentangled Prompt Tuning for Multiple Latent Domain Generalization in Federated Learning [20.51179258856028]
  フェデレートラーニング(FL)は、分散データから学ぶための強力なパラダイムとして登場した。 既存のFLメソッドの多くは、トレーニング中にドメインラベルが提供されると仮定し、その評価はドメインの数に明確な制約を課している。 本稿では,ドメイン一般化のための適応的なプロンプトを分散的に学習することで,上記の制約に対処するDistangled Prompt Tuning(DiPrompT)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T15:58:15Z)
• Role Prompting Guided Domain Adaptation with General Capability Preserve for Large Language Models [55.51408151807268]
  特定のドメインに合わせると、LLM(Large Language Models)は破滅的な忘れを経験する傾向がある。 同時に複数のドメインのための汎用モデルを構築することで、全体的なパフォーマンスが低下することが多い。 RolE Prompting Guided Multi-Domain Adaptation (REGA) 戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-05T08:22:41Z)
• Improving Intrusion Detection with Domain-Invariant Representation Learning in Latent Space [4.871119861180455]
  マルチタスク学習を用いた2相表現学習手法を提案する。 我々は、先行空間と潜時空間の間の相互情報の最小化により、潜時空間を解き放つ。 モデルの有効性を複数のサイバーセキュリティデータセットで評価する。
  論文  参考訳（メタデータ） (2023-12-28T17:24:13Z)
• Domain-Controlled Prompt Learning [49.45309818782329]
  既存の素早い学習方法はドメイン認識やドメイン転送機構を欠いていることが多い。 特定のドメインに対するtextbfDomain-Controlled Prompt Learningを提案する。 本手法は,特定の領域画像認識データセットにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-09-30T02:59:49Z)
• Domain Adaptive Few-Shot Open-Set Learning [36.39622440120531]
  本稿では,DA-FSOS(Domain Adaptive Few-Shot Open Set Recognition)を提案する。 我々のトレーニングアプローチは、DAFOS-NETがターゲットドメインの新しいシナリオにうまく適応できるようにします。 本稿では,Office-Home,mini-ImageNet/CUB,DomainNetデータセットに基づくDA-FSOSの3つのベンチマークを示す。
  論文  参考訳（メタデータ） (2023-09-22T12:04:47Z)
• Towards Generalization on Real Domain for Single Image Dehazing via Meta-Learning [41.99615673136883]
  合成画像から得られた内部情報は、通常、実際の領域では準最適である。 本稿では,メタラーニングに基づくドメイン一般化フレームワークを提案する。 提案手法は,最先端の競争相手よりも優れた一般化能力を有する。
  論文  参考訳（メタデータ） (2022-11-14T07:04:00Z)
• Unsupervised Domain Adaptation via Style-Aware Self-intermediate Domain [52.08301776698373]
  非教師なしドメイン適応(UDA)は、ラベル豊富なソースドメインから関連するがラベルのないターゲットドメインに知識を伝達する、かなりの注目を集めている。 本研究では,大規模なドメインギャップと伝達知識を橋渡しし,クラス非ネイティブ情報の損失を軽減するために,SAFF(style-aware feature fusion)法を提案する。
  論文  参考訳（メタデータ） (2022-09-05T10:06:03Z)
• Fishr: Invariant Gradient Variances for Out-of-distribution Generalization [98.40583494166314]
  フィッシャーは、損失関数の勾配の空間における領域不変性を強制する学習スキームである。 フィッシャーはこの損失についてフィッシャー・インフォメーションやヘッセンと密接な関係を示している。 特に、FishrはDomainBedベンチマークのテクニックの状態を改善し、経験的リスク最小化よりも大幅にパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-09-07T08:36:09Z)
• Structured Latent Embeddings for Recognizing Unseen Classes in Unseen Domains [108.11746235308046]
  本稿では,異なる領域からの画像を投影することで,ドメインに依存しない遅延埋め込みを学習する手法を提案する。 挑戦的なDomainNetとDomainNet-LSベンチマークの実験は、既存のメソッドよりもアプローチの方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-07-12T17:57:46Z)
• AFAN: Augmented Feature Alignment Network for Cross-Domain Object Detection [90.18752912204778]
  オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。 本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。 提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-10T05:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。