論文の概要: Text-Enhanced Data-free Approach for Federated Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2403.14101v1
• Date: Thu, 21 Mar 2024 03:24:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 15:36:52.241101
• Title: Text-Enhanced Data-free Approach for Federated Class-Incremental Learning
• Title（参考訳）: テキスト強化型データフリーアプローチによるフェデレーションクラスインクリメンタルラーニング
• Authors: Minh-Tuan Tran, Trung Le, Xuan-May Le, Mehrtash Harandi, Dinh Phung,
• Abstract要約: データ自由な知識伝達は、忘れることとデータのプライバシー問題に対処する上で重要な役割を果たす。 従来のアプローチでは、DFKTとモデルトレーニングフェーズの間に重要なシナジーが欠如していた。 事前訓練された言語モデルによって生成されたラベルテキストの埋め込みを利用して,この問題に対処するためにLANDERを導入する。
• 参考スコア（独自算出の注目度）: 36.70524853012054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Class-Incremental Learning (FCIL) is an underexplored yet pivotal issue, involving the dynamic addition of new classes in the context of federated learning. In this field, Data-Free Knowledge Transfer (DFKT) plays a crucial role in addressing catastrophic forgetting and data privacy problems. However, prior approaches lack the crucial synergy between DFKT and the model training phases, causing DFKT to encounter difficulties in generating high-quality data from a non-anchored latent space of the old task model. In this paper, we introduce LANDER (Label Text Centered Data-Free Knowledge Transfer) to address this issue by utilizing label text embeddings (LTE) produced by pretrained language models. Specifically, during the model training phase, our approach treats LTE as anchor points and constrains the feature embeddings of corresponding training samples around them, enriching the surrounding area with more meaningful information. In the DFKT phase, by using these LTE anchors, LANDER can synthesize more meaningful samples, thereby effectively addressing the forgetting problem. Additionally, instead of tightly constraining embeddings toward the anchor, the Bounding Loss is introduced to encourage sample embeddings to remain flexible within a defined radius. This approach preserves the natural differences in sample embeddings and mitigates the embedding overlap caused by heterogeneous federated settings. Extensive experiments conducted on CIFAR100, Tiny-ImageNet, and ImageNet demonstrate that LANDER significantly outperforms previous methods and achieves state-of-the-art performance in FCIL. The code is available at https://github.com/tmtuan1307/lander.
• Abstract（参考訳）: フェデレーション・クラス・インクリメンタル・ラーニング(FCIL)は、フェデレーション・ラーニングの文脈で新しいクラスを動的に追加することを含む、過度に探求されているが重要な問題である。 この分野では、データ自由知識伝達(DFKT)は破滅的な忘れとデータのプライバシー問題に対処する上で重要な役割を果たす。 しかし、従来の手法では、DFKTとモデルトレーニングフェーズ間の重要なシナジーが欠如しており、DFKTは古いタスクモデルの非アンコール潜在空間から高品質なデータを生成するのに困難に直面している。 本稿では、事前訓練された言語モデルによって生成されたラベルテキスト埋め込み(LTE)を利用して、LANDER(Label Text Centered Data-Free Knowledge Transfer)を導入し、この問題に対処する。 具体的には、モデルトレーニングフェーズにおいて、LTEをアンカーポイントとして扱い、その周辺のトレーニングサンプルの特徴埋め込みを制約し、より意味のある情報で周辺地域を豊かにする。 DFKTフェーズでは、これらのLTEアンカーを使用することで、LANDERはより意味のあるサンプルを合成し、忘れる問題に効果的に対処することができる。 さらに、アンカーへの埋め込みを厳格に拘束する代わりに、境界ロス(英語版)が導入され、サンプル埋め込みが定義された半径内で柔軟に保たれるように促される。 提案手法は, 試料埋込みの自然差を保ち, 不均一なフェデレーション設定による埋込み重なりを緩和する。 CIFAR100、Tiny-ImageNet、ImageNetで実施された大規模な実験では、LANDERは従来の手法よりも大幅に優れ、FCILの最先端性能を実現している。 コードはhttps://github.com/tmtuan1307/lander.orgで公開されている。

関連論文リスト

• Weakly Contrastive Learning via Batch Instance Discrimination and Feature Clustering for Small Sample SAR ATR [7.2932563202952725]
  BIDFC(Batch Instance Discrimination and Feature Clustering)と呼ばれる新しいフレームワークを提案する。 本枠組みでは,SAR画像中の試料間の類似度が高いため,試料間の埋め込み距離は適度である。 移動・静止目標獲得・認識(MSTAR)データベースの実験結果から,3.13%のトレーニングデータに基づいて,本手法の91.25%の分類精度が得られた。
  論文  参考訳（メタデータ） (2024-08-07T08:39:33Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation [15.298650496155508]
  フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。 既存のFLメソッドは、デバイス間の不足やラベルスキュードデータを扱う際に問題に直面し、結果としてローカルモデルが過度に適合し、ドリフトする。 我々はFLeaと呼ばれる先駆的なフレームワークを提案し、以下のキーコンポーネントを取り入れた。
  論文  参考訳（メタデータ） (2024-06-13T19:28:08Z)
• FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients [19.3885479917635]
  Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。 本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。 提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
  論文  参考訳（メタデータ） (2024-02-15T18:48:21Z)
• FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation [15.298650496155508]
  フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。 既存のFLメソッドは、デバイス間の不足やラベルスキュードデータを扱う際に問題に直面し、結果としてローカルモデルが過度に適合し、ドリフトする。 我々は、以下のキーコンポーネントを組み込んだ textitFLea という先駆的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-04T20:24:09Z)
• Distinguishability Calibration to In-Context Learning [31.375797763897104]
  そこで本研究では, PLM符号化埋め込みを新しい距離空間にマッピングすることで, 埋め込みの識別性を保証する手法を提案する。 また、双曲的埋め込みの利点を生かして、粒度の細かいクラス関連トークン埋め込み間の階層的関係を捉える。
  論文  参考訳（メタデータ） (2023-02-13T09:15:00Z)
• Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
  現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。 そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。 実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-05-12T02:23:25Z)
• Text-Based Person Search with Limited Data [66.26504077270356]
  テキストベースの人物検索(TBPS)は、画像ギャラリーから対象人物を記述的なテキストクエリで検索することを目的としている。 限られたデータによってもたらされる問題に対処する2つの新しいコンポーネントを持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-20T22:20:47Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。