論文の概要: Language-Guided Transformer for Federated Multi-Label Classification

• arxiv url: http://arxiv.org/abs/2312.07165v1
• Date: Tue, 12 Dec 2023 11:03:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 16:24:26.443804
• Title: Language-Guided Transformer for Federated Multi-Label Classification
• Title（参考訳）: フェデレートマルチラベル分類のための言語誘導トランス
• Authors: I-Jieh Liu, Ci-Siang Lin, Fu-En Yang, Yu-Chiang Frank Wang
• Abstract要約: フェデレートラーニング(FL)は、複数のユーザがプライベートデータを共有せずに、プライバシー保護の方法で堅牢なモデルを共同でトレーニングすることを可能にする。 FLの既存のアプローチのほとんどは、タスクをマルチラベル画像分類に移行する際の影響を無視して、従来のシングルラベル画像分類のみを考慮する。 本稿では,この課題に対処するために,言語ガイドトランスフォーマー(FedLGT)の新たなFLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 32.26913287627532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is an emerging paradigm that enables multiple users to collaboratively train a robust model in a privacy-preserving manner without sharing their private data. Most existing approaches of FL only consider traditional single-label image classification, ignoring the impact when transferring the task to multi-label image classification. Nevertheless, it is still challenging for FL to deal with user heterogeneity in their local data distribution in the real-world FL scenario, and this issue becomes even more severe in multi-label image classification. Inspired by the recent success of Transformers in centralized settings, we propose a novel FL framework for multi-label classification. Since partial label correlation may be observed by local clients during training, direct aggregation of locally updated models would not produce satisfactory performances. Thus, we propose a novel FL framework of Language-Guided Transformer (FedLGT) to tackle this challenging task, which aims to exploit and transfer knowledge across different clients for learning a robust global model. Through extensive experiments on various multi-label datasets (e.g., FLAIR, MS-COCO, etc.), we show that our FedLGT is able to achieve satisfactory performance and outperforms standard FL techniques under multi-label FL scenarios. Code is available at https://github.com/Jack24658735/FedLGT.
• Abstract（参考訳）: フェデレートラーニング(FL)は、複数のユーザがプライベートデータを共有せずに、プライバシー保護方法で堅牢なモデルを共同でトレーニングできる、新たなパラダイムである。 FLの既存のアプローチのほとんどは、タスクをマルチラベル画像分類に移行する際の影響を無視して、従来のシングルラベル画像分類のみを考慮する。 しかし,実世界のFLシナリオにおけるローカルデータ配信におけるユーザ不均一性に対処することは依然として困難であり,マルチラベル画像分類においてこの問題はさらに深刻化している。 近年の集中型セッティングにおけるトランスフォーマーの成功に触発されて,マルチラベル分類のための新しいFLフレームワークを提案する。 部分的なラベル相関は、トレーニング中にローカルクライアントによって観測されるため、ローカル更新されたモデルの直接集約は、十分なパフォーマンスを得られない。 そこで我々は,この課題に対処するために,言語ガイドトランスフォーマー(FedLGT)の新たなFLフレームワークを提案する。 各種マルチラベルデータセット(FLAIR,MS-COCOなど)の広範な実験を通じて,FedLGTが満足な性能を実現し,マルチラベルFLシナリオ下での標準FL技術より優れていることを示す。 コードはhttps://github.com/Jack24658735/FedLGTで入手できる。

関連論文リスト

• Recovering Global Data Distribution Locally in Federated Learning [7.885010255812708]
  Federated Learning(FL)は、複数のクライアント間のコラボレーションを可能にする分散機械学習パラダイムである。 FLにおける大きな課題はラベルの不均衡であり、クライアントは少数派と欠落したクラスを多数持っている間、特定のクラスを独占する可能性がある。 本稿では,この課題に対処するための新しいアプローチであるReGLを提案し,その鍵となる考え方は,グローバルなデータ分布を局所的に検索することである。
  論文  参考訳（メタデータ） (2024-09-21T08:35:04Z)
• FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation [15.298650496155508]
  フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。 既存のFLメソッドは、デバイス間の不足やラベルスキュードデータを扱う際に問題に直面し、結果としてローカルモデルが過度に適合し、ドリフトする。 我々はFLeaと呼ばれる先駆的なフレームワークを提案し、以下のキーコンポーネントを取り入れた。
  論文  参考訳（メタデータ） (2024-06-13T19:28:08Z)
• Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
  Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:22:09Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• Addressing Heterogeneity in Federated Learning via Distributional Transformation [37.99565338024758]
  フェデレートラーニング(FL)は、複数のクライアントが協調してディープラーニングモデルをトレーニングすることを可能にする。 FLの大きな課題の1つは、データの分散が不均一である場合、すなわち、あるクライアントから別のクライアントへ異なる場合である。 本研究では、列車およびテスト時間分布変換によるFL性能(モデル精度)の向上を目的とした、DisTransと呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T20:42:01Z)
• Federated Learning from Only Unlabeled Data with Class-Conditional-Sharing Clients [98.22390453672499]
  Supervised Federated Learning (FL)は、複数のクライアントがラベル付きデータを共有せずにトレーニングされたモデルを共有することを可能にする。 本研究では,教師なし学習(FedUL)のフェデレーションを提案し,各クライアントのラベル付きデータにラベル付きデータを変換する。
  論文  参考訳（メタデータ） (2022-04-07T09:12:00Z)
• Multi-Source Domain Adaptation Based on Federated Knowledge Alignment [0.0]
  フェデレートラーニング(FL)は、ユーザのプライバシを保護するために、分散モデル学習を容易にする。 我々は、異なるクライアントと対象タスクの特徴を整合させるフェデレーション知識アライメント(FedKA)を提案する。
  論文  参考訳（メタデータ） (2022-03-22T11:42:25Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Multi-Center Federated Learning [62.32725938999433]
  フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。 単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。 本稿では,新しいマルチセンターアグリゲーション機構を提案する。
  論文  参考訳（メタデータ） (2021-08-19T12:20:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。