論文の概要: Text-Enhanced Data-free Approach for Federated Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2403.14101v1
- Date: Thu, 21 Mar 2024 03:24:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 15:36:52.241101
- Title: Text-Enhanced Data-free Approach for Federated Class-Incremental Learning
- Title(参考訳): テキスト強化型データフリーアプローチによるフェデレーションクラスインクリメンタルラーニング
- Authors: Minh-Tuan Tran, Trung Le, Xuan-May Le, Mehrtash Harandi, Dinh Phung,
- Abstract要約: データ自由な知識伝達は、忘れることとデータのプライバシー問題に対処する上で重要な役割を果たす。
従来のアプローチでは、DFKTとモデルトレーニングフェーズの間に重要なシナジーが欠如していた。
事前訓練された言語モデルによって生成されたラベルテキストの埋め込みを利用して,この問題に対処するためにLANDERを導入する。
- 参考スコア(独自算出の注目度): 36.70524853012054
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Class-Incremental Learning (FCIL) is an underexplored yet pivotal issue, involving the dynamic addition of new classes in the context of federated learning. In this field, Data-Free Knowledge Transfer (DFKT) plays a crucial role in addressing catastrophic forgetting and data privacy problems. However, prior approaches lack the crucial synergy between DFKT and the model training phases, causing DFKT to encounter difficulties in generating high-quality data from a non-anchored latent space of the old task model. In this paper, we introduce LANDER (Label Text Centered Data-Free Knowledge Transfer) to address this issue by utilizing label text embeddings (LTE) produced by pretrained language models. Specifically, during the model training phase, our approach treats LTE as anchor points and constrains the feature embeddings of corresponding training samples around them, enriching the surrounding area with more meaningful information. In the DFKT phase, by using these LTE anchors, LANDER can synthesize more meaningful samples, thereby effectively addressing the forgetting problem. Additionally, instead of tightly constraining embeddings toward the anchor, the Bounding Loss is introduced to encourage sample embeddings to remain flexible within a defined radius. This approach preserves the natural differences in sample embeddings and mitigates the embedding overlap caused by heterogeneous federated settings. Extensive experiments conducted on CIFAR100, Tiny-ImageNet, and ImageNet demonstrate that LANDER significantly outperforms previous methods and achieves state-of-the-art performance in FCIL. The code is available at https://github.com/tmtuan1307/lander.
- Abstract(参考訳): フェデレーション・クラス・インクリメンタル・ラーニング(FCIL)は、フェデレーション・ラーニングの文脈で新しいクラスを動的に追加することを含む、過度に探求されているが重要な問題である。
この分野では、データ自由知識伝達(DFKT)は破滅的な忘れとデータのプライバシー問題に対処する上で重要な役割を果たす。
しかし、従来の手法では、DFKTとモデルトレーニングフェーズ間の重要なシナジーが欠如しており、DFKTは古いタスクモデルの非アンコール潜在空間から高品質なデータを生成するのに困難に直面している。
本稿では、事前訓練された言語モデルによって生成されたラベルテキスト埋め込み(LTE)を利用して、LANDER(Label Text Centered Data-Free Knowledge Transfer)を導入し、この問題に対処する。
具体的には、モデルトレーニングフェーズにおいて、LTEをアンカーポイントとして扱い、その周辺のトレーニングサンプルの特徴埋め込みを制約し、より意味のある情報で周辺地域を豊かにする。
DFKTフェーズでは、これらのLTEアンカーを使用することで、LANDERはより意味のあるサンプルを合成し、忘れる問題に効果的に対処することができる。
さらに、アンカーへの埋め込みを厳格に拘束する代わりに、境界ロス(英語版)が導入され、サンプル埋め込みが定義された半径内で柔軟に保たれるように促される。
提案手法は, 試料埋込みの自然差を保ち, 不均一なフェデレーション設定による埋込み重なりを緩和する。
CIFAR100、Tiny-ImageNet、ImageNetで実施された大規模な実験では、LANDERは従来の手法よりも大幅に優れ、FCILの最先端性能を実現している。
コードはhttps://github.com/tmtuan1307/lander.orgで公開されている。
関連論文リスト
- FedAnchor: Enhancing Federated Semi-Supervised Learning with Label
Contrastive Loss for Unlabeled Clients [19.3885479917635]
Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。
本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。
提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
論文 参考訳(メタデータ) (2024-02-15T18:48:21Z) - Distinguishability Calibration to In-Context Learning [31.375797763897104]
そこで本研究では, PLM符号化埋め込みを新しい距離空間にマッピングすることで, 埋め込みの識別性を保証する手法を提案する。
また、双曲的埋め込みの利点を生かして、粒度の細かいクラス関連トークン埋め込み間の階層的関係を捉える。
論文 参考訳(メタデータ) (2023-02-13T09:15:00Z) - Learning Across Domains and Devices: Style-Driven Source-Free Domain
Adaptation in Clustered Federated Learning [32.098954477227046]
本稿では,クライアントのデータをラベル付けせず,サーバが事前学習のためにラベル付きデータセットにアクセスする新しいタスクを提案する。
実験の結果,我々のアルゴリズムは既存の手法よりも効率よく新しい課題に取り組むことができることがわかった。
論文 参考訳(メタデータ) (2022-10-05T15:23:52Z) - Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。
そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。
実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
論文 参考訳(メタデータ) (2022-05-12T02:23:25Z) - Text-Based Person Search with Limited Data [66.26504077270356]
テキストベースの人物検索(TBPS)は、画像ギャラリーから対象人物を記述的なテキストクエリで検索することを目的としている。
限られたデータによってもたらされる問題に対処する2つの新しいコンポーネントを持つフレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-20T22:20:47Z) - SCARF: Self-Supervised Contrastive Learning using Random Feature
Corruption [72.35532598131176]
本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。
SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
論文 参考訳(メタデータ) (2021-06-29T08:08:33Z) - Contrastive Prototype Learning with Augmented Embeddings for Few-Shot
Learning [58.2091760793799]
拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。
クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。
いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
論文 参考訳(メタデータ) (2021-01-23T13:22:44Z) - Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。
少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。
これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
論文 参考訳(メタデータ) (2020-08-04T10:41:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。