論文の概要: CAPT: Class-Aware Prompt Tuning for Federated Long-Tailed Learning with Vision-Language Model

• arxiv url: http://arxiv.org/abs/2503.06993v1
• Date: Mon, 10 Mar 2025 07:17:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:51:01.602356
• Title: CAPT: Class-Aware Prompt Tuning for Federated Long-Tailed Learning with Vision-Language Model
• Title（参考訳）: CAPT:視覚言語モデルを用いた長期学習のためのクラスアウェア・プロンプトチューニング
• Authors: Shihao Hou, Xinyi Shang, Shreyank N Gowda, Yang Lu, Chao Wu, Yan Yan, Hanzi Wang,
• Abstract要約: Class-Aware Prompt Learning for Federated Long-tailed Learning (CAPT)は、訓練済みのVLMを活用して、データの不均一性と長い尾の分布を処理する新しいフレームワークである。 CAPTは、フェデレートされた長期学習シナリオにおいて、全体的な精度を損なうことなく、テールクラスのパフォーマンスを著しく改善する。
• 参考スコア（独自算出の注目度）: 32.36927984925236
• License:
• Abstract: Effectively handling the co-occurrence of non-IID data and long-tailed distributions remains a critical challenge in federated learning. While fine-tuning vision-language models (VLMs) like CLIP has shown to be promising in addressing non-IID data challenges, this approach leads to severe degradation of tail classes in federated long-tailed scenarios. Under the composite effects of strong non-IID data distribution and long-tailed class imbalances, VLM fine-tuning may even fail to yield any improvement. To address this issue, we propose Class-Aware Prompt Learning for Federated Long-tailed Learning (CAPT), a novel framework that leverages a pre-trained VLM to effectively handle both data heterogeneity and long-tailed distributions. CAPT introduces a dual-prompt mechanism that synergizes general and class-aware prompts, enabling the framework to capture global trends while preserving class-specific knowledge. To better aggregate and share knowledge across clients, we introduce a heterogeneity-aware client clustering strategy that groups clients based on their data distributions, enabling efficient collaboration and knowledge sharing. Extensive experiments on various long-tailed datasets with different levels of data heterogeneity demonstrate that CAPT significantly improves tail class performance without compromising overall accuracy, outperforming state-of-the-art methods in federated long-tailed learning scenarios.
• Abstract（参考訳）: 非IIDデータと長い尾の分布の共起を効果的に扱うことは、連邦学習において重要な課題である。 CLIPのような微調整型視覚言語モデル(VLM)は、非IIDデータ問題に対処する上で有望であることを示しているが、このアプローチは、フェデレートされた長い尾のシナリオにおいて、テールクラスを著しく劣化させる。 強い非IIDデータ分布と長い尾のクラス不均衡の複合効果の下では、VLM微調整はいかなる改善も得られない。 この問題に対処するため,フェデレーション付き長期学習のためのクラス・アウェア・プロンプト・ラーニング(CAPT)を提案する。 CAPTは、汎用とクラス対応のプロンプトを相乗化するデュアルプロンプト機構を導入し、フレームワークはクラス固有の知識を維持しながら、グローバルなトレンドを捉えることができる。 クライアント間での知識の集約と共有を向上するために、クライアントがデータ分散に基づいてグループ化する異種対応のクライアントクラスタリング戦略を導入し、効率的なコラボレーションと知識共有を可能にします。 異なるレベルのデータヘテロジニティを持つ様々なロングテールデータセットに対する大規模な実験により、CAPTは全体的な精度を損なうことなくテールクラス性能を著しく改善し、フェデレートされたロングテール学習シナリオにおける最先端の手法よりも優れていた。

関連論文リスト

• FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
  フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。 伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。 新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
  論文  参考訳（メタデータ） (2024-09-18T16:25:29Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Stable Diffusion-based Data Augmentation for Federated Learning with Non-IID Data [9.045647166114916]
  フェデレートラーニング(FL)は、分散的かつ協調的なモデルトレーニングのための有望なパラダイムである。 FLは、非独立分散(Non-IID)データ分散に直面すると、パフォーマンスの大幅な低下と収束性の低下に悩まされる。 我々は、最先端のテキスト・ツー・イメージ基盤モデルの強力な能力を活用する新しいアプローチであるGen-FedSDを紹介する。
  論文  参考訳（メタデータ） (2024-05-13T16:57:48Z)
• Decoupled Federated Learning on Long-Tailed and Non-IID data with Feature Statistics [20.781607752797445]
  特徴統計量(DFL-FS)を用いた2段階分離型フェデレーション学習フレームワークを提案する。 最初の段階では、サーバは、マスキングされたローカル特徴統計クラスタリングによってクライアントのクラスカバレッジ分布を推定する。 第2段階では、DFL-FSは、グローバルな特徴統計に基づくフェデレーションされた特徴再生を使用して、長い尾を持つデータ分布へのモデルの適応性を高める。
  論文  参考訳（メタデータ） (2024-03-13T09:24:59Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• CADIS: Handling Cluster-skewed Non-IID Data in Federated Learning with Clustered Aggregation and Knowledge DIStilled Regularization [3.3711670942444014]
  フェデレーション学習は、エッジデバイスがデータを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。 我々は、実際のデータセットで発見されたクラスタスキュード非IIDと呼ばれる新しいタイプの非IIDデータに取り組む。 本稿では,クラスタ間の平等を保証するアグリゲーション方式を提案する。
  論文  参考訳（メタデータ） (2023-02-21T02:53:37Z)
• FedABC: Targeting Fair Competition in Personalized Federated Learning [76.9646903596757]
  フェデレートラーニングは、クライアントのローカルプライベートデータにアクセスすることなく、モデルを協調的にトレーニングすることを目的としている。 我々はFedABCと呼ばれるバイナリ分類によるFederated Averagingと呼ばれる新規で汎用的なPFLフレームワークを提案する。 特に、各クライアントに1対1のトレーニング戦略を採用して、クラス間の不公平な競争を軽減する。
  論文  参考訳（メタデータ） (2023-02-15T03:42:59Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
  非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。 本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
  論文  参考訳（メタデータ） (2022-04-30T06:17:36Z)
• Distributed Unsupervised Visual Representation Learning with Fused Features [13.935997509072669]
  フェデレートラーニング(FL)により、分散クライアントは、各クライアントにトレーニングデータをローカルに保持しながら、予測のための共有モデルを学ぶことができる。 本稿では,特徴融合と近傍マッチングという2つのアプローチからなる相互比較学習フレームワークを提案する。 IIDデータでは、他の手法よりも11%優れており、集中学習のパフォーマンスに匹敵する。
  論文  参考訳（メタデータ） (2021-11-21T08:36:31Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。