Fugu-MT 論文翻訳(概要): Federated Adversarial Training with Transformers

論文の概要: Federated Adversarial Training with Transformers

arxiv url: http://arxiv.org/abs/2206.02131v1
Date: Sun, 5 Jun 2022 09:07:09 GMT
ステータス: 処理完了
システム内更新日: 2022-06-11 08:49:12.117161
Title: Federated Adversarial Training with Transformers
Title（参考訳）: トランスフォーマーを用いた連関訓練
Authors: Ahmed Aldahdooh, Wassim Hamidouche, Olivier D\'eforges
Abstract要約: フェデレーテッド・ラーニング(FL)は、プライバシを保ちながら、分散クライアントのデータ上でグローバルモデルトレーニングを可能にするために登場した。本稿では,異なるトークン化と分類ヘッド技術を用いた異なるフェデレーションモデルアグリゲーション手法と異なるビジョントランスフォーマーモデルによる実現可能性について検討する。
参考スコア（独自算出の注目度）: 16.149924042225106
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning (FL) has emerged to enable global model training over distributed clients' data while preserving its privacy. However, the global trained model is vulnerable to the evasion attacks especially, the adversarial examples (AEs), carefully crafted samples to yield false classification. Adversarial training (AT) is found to be the most promising approach against evasion attacks and it is widely studied for convolutional neural network (CNN). Recently, vision transformers have been found to be effective in many computer vision tasks. To the best of the authors' knowledge, there is no work that studied the feasibility of AT in a FL process for vision transformers. This paper investigates such feasibility with different federated model aggregation methods and different vision transformer models with different tokenization and classification head techniques. In order to improve the robust accuracy of the models with the not independent and identically distributed (Non-IID), we propose an extension to FedAvg aggregation method, called FedWAvg. By measuring the similarities between the last layer of the global model and the last layer of the client updates, FedWAvg calculates the weights to aggregate the local models updates. The experiments show that FedWAvg improves the robust accuracy when compared with other state-of-the-art aggregation methods.
Abstract（参考訳）: federated learning (fl) は、プライバシを維持しながら、分散クライアントのデータ上でグローバルモデルトレーニングを可能にするために登場した。しかし、グローバルトレーニングモデルは、特に敵のサンプル(AE)の回避攻撃に弱いため、慎重にサンプルを作成して誤分類を発生させる。逆行訓練(AT)は、回避攻撃に対する最も有望なアプローチであり、畳み込みニューラルネットワーク(CNN)として広く研究されている。近年、視覚トランスフォーマーは多くのコンピュータビジョンタスクで有効であることが判明している。著者の知識を最大限に活用するために、視覚変換器のFLプロセスにおけるATの実現可能性を研究する研究は存在しない。本稿では,トークン化や分類ヘッド技術が異なるフェデレーションモデル集約法と異なる視覚トランスフォーマモデルによる実現可能性について検討する。非独立で同一分布のモデル(Non-IID)のロバストな精度を改善するため,FedWAvgと呼ばれるFedAvg集約法の拡張を提案する。グローバルモデルの最後の層とクライアント更新の最後の層の間の類似度を測定することで、feedwavgはローカルモデル更新を集約する重みを計算する。実験の結果,FedWAvgは他の最先端集約手法と比較して,ロバストな精度が向上した。

関連論文リスト

MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。本稿では,多目的特徴表現学習手法であるMORELを提案する。
論文参考訳（メタデータ） (2024-10-02T16:05:03Z)
Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
論文参考訳（メタデータ） (2024-08-23T01:53:36Z)
Heterogeneous Federated Learning with Splited Language Model [22.65325348176366]
フェデレート・スプリット・ラーニング(FSL)は、実際には有望な分散学習パラダイムである。本稿では,前訓練画像変換器(PIT)をFedVと呼ばれる初期モデルとして利用し,トレーニングプロセスの高速化とモデルロバスト性の向上を図る。我々は、実世界のデータセット、異なる部分的デバイス参加、異種データ分割におけるPITを用いたFSL手法の体系的評価を初めて行った。
論文参考訳（メタデータ） (2024-03-24T07:33:08Z)
Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文参考訳（メタデータ） (2023-09-14T03:48:27Z)
Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文参考訳（メタデータ） (2023-08-20T04:41:01Z)
FedPerfix: Towards Partial Model Personalization of Vision Transformers in Federated Learning [9.950367271170592]
視覚変換器モデル(ViT)のパーソナライズ方法について検討する。自己注意層と分類ヘッドがViTの最も敏感な部分であるという知見に基づいて、FedPerfixと呼ばれる新しいアプローチを提案する。 CIFAR-100、OrganAMNIST、Office-Homeのデータセットに対する提案手法の評価を行い、いくつかの先進的なPFL手法と比較してその効果を実証した。
論文参考訳（メタデータ） (2023-08-17T19:22:30Z)
Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文参考訳（メタデータ） (2023-08-03T07:45:53Z)
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文参考訳（メタデータ） (2022-12-03T03:27:51Z)
FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文参考訳（メタデータ） (2022-07-20T04:55:18Z)
Backdoor Defense in Federated Learning Using Differential Testing and Outlier Detection [24.562359531692504]
バックドア攻撃からFLシステムを保護するための自動防御フレームワークであるDifFenseを提案する。提案手法は,グローバルモデルの平均バックドア精度を4%以下に低減し,偽陰性率ゼロを達成する。
論文参考訳（メタデータ） (2022-02-21T17:13:03Z)
FedRAD: Federated Robust Adaptive Distillation [7.775374800382709]
一般的にモデルの更新を集約するコラボレーション学習フレームワークは、敵のクライアントによる毒殺攻撃のモデルに対して脆弱である。本稿では,新たなロバスト適応蒸留法 (FedRAD) を提案する。その結果,FedRADは敵の存在や異種データ分布において,他のアグリゲータよりも優れていた。
論文参考訳（メタデータ） (2021-12-02T16:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。