Fugu-MT 論文翻訳(概要): Transformer-based Federated Learning for Multi-Label Remote Sensing Image Classification

論文の概要: Transformer-based Federated Learning for Multi-Label Remote Sensing Image Classification

arxiv url: http://arxiv.org/abs/2405.15405v1
Date: Fri, 24 May 2024 10:13:49 GMT
ステータス: 処理完了
システム内更新日: 2024-05-27 15:01:48.406584
Title: Transformer-based Federated Learning for Multi-Label Remote Sensing Image Classification
Title（参考訳）: マルチラベルリモートセンシング画像分類のためのトランスフォーマーに基づくフェデレーション学習
Authors: Barış Büyüktaş, Kenneth Weitzel, Sebastian Völkers, Felix Zailskas, Begüm Demir,
Abstract要約: 各種クライアントにおける非IIDトレーニングデータに関連する課題に対処するために,最先端のトランスフォーマーアーキテクチャが適用可能であるかを検討する。トランスフォーマーアーキテクチャは、局所的なトレーニングと集約の複雑さの増大により、能力を高める。
参考スコア（独自算出の注目度）: 2.3255040478777755
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning (FL) aims to collaboratively learn deep learning model parameters from decentralized data archives (i.e., clients) without accessing training data on clients. However, the training data across clients might be not independent and identically distributed (non-IID), which may result in difficulty in achieving optimal model convergence. In this work, we investigate the capability of state-of-the-art transformer architectures (which are MLP-Mixer, ConvMixer, PoolFormer) to address the challenges related to non-IID training data across various clients in the context of FL for multi-label classification (MLC) problems in remote sensing (RS). The considered transformer architectures are compared among themselves and with the ResNet-50 architecture in terms of their: 1) robustness to training data heterogeneity; 2) local training complexity; and 3) aggregation complexity under different non-IID levels. The experimental results obtained on the BigEarthNet-S2 benchmark archive demonstrate that the considered architectures increase the generalization ability with the cost of higher local training and aggregation complexities. On the basis of our analysis, some guidelines are derived for a proper selection of transformer architecture in the context of FL for RS MLC. The code of this work is publicly available at https://git.tu-berlin.de/rsim/FL-Transformer.
Abstract（参考訳）: Federated Learning (FL) は、クライアントのトレーニングデータにアクセスすることなく、分散化されたデータアーカイブ(クライアント)からディープラーニングモデルパラメータを協調的に学習することを目的としている。しかし、クライアント間でのトレーニングデータは独立性がなく、同じ分散(非IID)ではないかもしれないため、最適なモデル収束を達成するのが困難になる可能性がある。本研究では,リモートセンシング(RS)におけるマルチラベル分類(MLC)問題におけるFLの文脈において,最先端トランスフォーマーアーキテクチャ(MLP-Mixer,ConvMixer,PoolFormer)の,各クライアントにわたる非IIDトレーニングデータに関連する課題に対処する能力について検討する。検討されたトランスフォーマーアーキテクチャは、それぞれとResNet-50アーキテクチャで比較される。 1) データの不均一性の訓練に対する堅牢性 2)現地研修の複雑さ,及び 3) 凝集度は非IIDレベルの異なる。 BigEarthNet-S2ベンチマークアーカイブで得られた実験結果は、検討されたアーキテクチャが局所的なトレーニングと集約の複雑さを高くするコストで一般化能力を高めることを示した。本分析に基づいて,RS MLCにおけるFLの文脈における変圧器アーキテクチャの適切な選択のためのガイドラインを導出する。この作業のコードはhttps://git.tu-berlin.de/rsim/FL-Transformer.comで公開されている。

関連論文リスト

Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文参考訳（メタデータ） (2024-11-24T13:30:03Z)
FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文参考訳（メタデータ） (2024-02-13T20:04:39Z)
FedConv: Enhancing Convolutional Neural Networks for Handling Data Heterogeneity in Federated Learning [34.37155882617201]
フェデレーション・ラーニング(FL)は機械学習における新たなパラダイムであり、共有モデルは複数のデバイスからのデータを使って協調的に学習される。活性化関数や正規化層などの異なるアーキテクチャ要素が異種FLの性能に与える影響を系統的に検討する。以上の結果から,戦略的アーキテクチャ変更により,純粋なCNNは,VTと一致するか,あるいは超えるようなロバスト性を達成できることが示唆された。
論文参考訳（メタデータ） (2023-10-06T17:57:50Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization [59.732036564862796]
本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
論文参考訳（メタデータ） (2022-08-31T03:00:07Z)
Heterogeneous Ensemble Knowledge Transfer for Training Large Models in Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文参考訳（メタデータ） (2022-04-27T05:18:32Z)
Build a Robust QA System with Transformer-based Mixture of Experts [0.29005223064604074]
私たちは、ドメイン外のデータセットに適応できる堅牢な質問応答システムを構築しています。我々は、ドメイン外評価において、最高のアーキテクチャとデータ拡張技術の組み合わせが53.477 F1スコアを達成することを示す。
論文参考訳（メタデータ） (2022-03-20T02:38:29Z)
Robust Semi-supervised Federated Learning for Images Automatic Recognition in Internet of Drones [57.468730437381076]
プライバシー保護型UAV画像認識のための半教師付きフェデレートラーニング(SSFL)フレームワークを提案する。異なるカメラモジュールを使用したUAVによって収集されたローカルデータの数、特徴、分布には大きな違いがある。本稿では,クライアントがトレーニングに参加する頻度,すなわちFedFreqアグリゲーションルールに基づくアグリゲーションルールを提案する。
論文参考訳（メタデータ） (2022-01-03T16:49:33Z)
Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
論文参考訳（メタデータ） (2021-06-10T21:04:18Z)
HeteroFL: Computation and Communication Efficient Federated Learning for Heterogeneous Clients [42.365530133003816]
我々は,全く異なる計算能力と通信能力を備えた異種クライアントに対応するために,HeteroFLという新しいフェデレーション学習フレームワークを提案する。我々の解は、様々な複雑さを持つ異種局所モデルの訓練を可能にする。クライアントの能力に応じてデータを適応的に分散することは、計算と通信の効率が良いことを示す。
論文参考訳（メタデータ） (2020-10-03T02:55:33Z)
Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文参考訳（メタデータ） (2020-06-12T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。