論文の概要: How to Defend Against Large-scale Model Poisoning Attacks in Federated Learning: A Vertical Solution

• arxiv url: http://arxiv.org/abs/2411.10673v1
• Date: Sat, 16 Nov 2024 02:25:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:33:44.693883
• Title: How to Defend Against Large-scale Model Poisoning Attacks in Federated Learning: A Vertical Solution
• Title（参考訳）: フェデレーションラーニングにおける大規模モデル中毒攻撃の防御方法 - 垂直解法
• Authors: Jinbo Wang, Ruijin Wang, Fengli Zhang,
• Abstract要約: フェデレートラーニング(FL)は、その分散した性質のため、毒殺攻撃のモデルとして脆弱である。 本稿では,グローバル通信ラウンドを垂直軸とするVERTを提案する。 VERTは効率的でスケーラブルであり、FLシナリオの異なる大規模(=80%)モデルによる防御効果を示す。
• 参考スコア（独自算出の注目度）: 2.4730877418356383
• License:
• Abstract: Federated learning (FL) is vulnerable to model poisoning attacks due to its distributed nature. The current defenses start from all user gradients (model updates) in each communication round and solve for the optimal aggregation gradients (horizontal solution). This horizontal solution will completely fail when facing large-scale (>50%) model poisoning attacks. In this work, based on the key insight that the convergence process of the model is a highly predictable process, we break away from the traditional horizontal solution of defense and innovatively transform the problem of solving the optimal aggregation gradients into a vertical solution problem. We propose VERT, which uses global communication rounds as the vertical axis, trains a predictor using historical gradients information to predict user gradients, and compares the similarity with actual user gradients to precisely and efficiently select the optimal aggregation gradients. In order to reduce the computational complexity of VERT, we design a low dimensional vector projector to project the user gradients to a computationally acceptable length, and then perform subsequent predictor training and prediction tasks. Exhaustive experiments show that VERT is efficient and scalable, exhibiting excellent large-scale (>=80%) model poisoning defense effects under different FL scenarios. In addition, we can design projector with different structures for different model structures to adapt to aggregation servers with different computing power.
• Abstract（参考訳）: フェデレートラーニング(FL)は、その分散した性質のため、毒殺攻撃のモデルとして脆弱である。 現在の防御は、各通信ラウンドのすべてのユーザ勾配(モデル更新)から始まり、最適なアグリゲーション勾配(水平解)を解決する。 この水平方向の解は、大規模な(>50%)モデル中毒攻撃に直面すると、完全に失敗する。 本研究は,モデルの収束過程が極めて予測可能なプロセスであるという重要な知見に基づいて,従来の水平方向の防衛解から分離し,最適凝集勾配の解法を垂直方向の解法問題に革新的に変換する。 本研究では,グローバル通信ラウンドを垂直軸とし,ユーザ勾配の予測に履歴勾配情報を用いて予測器を訓練し,実際のユーザ勾配と類似度を比較し,最適なアグリゲーション勾配を高精度かつ効率的に選択するVERTを提案する。 VERTの計算複雑性を低減するために,ユーザ勾配を計算に許容される長さに投影する低次元ベクトルプロジェクタを設計し,その後の予測と予測タスクを実行する。 露光実験により、VERTは効率的で拡張性があり、FLシナリオの異なる大規模(=80%)モデルによる防御効果を示すことが示された。 さらに、異なるモデル構造のための異なる構造を持つプロジェクタを設計して、異なる計算能力を持つ集約サーバに適応させることができる。

関連論文リスト

• PACE: marrying generalization in PArameter-efficient fine-tuning with Consistency rEgularization [35.922096876707975]
  PACE は PArameter- efficient fine-tuning with Consistency rEgularization の一般化である。 PACEは、拡張一般化のための勾配を暗黙的に正規化するだけでなく、微調整および事前訓練されたモデルも暗黙的に整列して知識を保持することを示す。 PACEは、VTAB-1k、FGVC、少数ショット学習、ドメイン適応の4つの視覚適応タスクにおいて、既存のPEFTメソッドよりも優れている。
  論文  参考訳（メタデータ） (2024-09-25T17:56:00Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Efficient Deep Visual and Inertial Odometry with Adaptive Visual Modality Selection [12.754974372231647]
  本稿では,適応型深層学習に基づくVIO手法を提案する。 Gumbel-Softmax のトリックを用いてポリシーネットワークをトレーニングし、エンドツーエンドのシステムトレーニングで決定プロセスを差別化できるようにする。 実験結果から,本手法は全モードベースラインと同じような,あるいはさらに優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-12T16:17:49Z)
• Adaptive Perturbation for Adversarial Attack [50.77612889697216]
  そこで本研究では,新たな逆例に対する勾配に基づく攻撃手法を提案する。 逆方向の摂動を発生させるために,スケーリング係数を用いた正確な勾配方向を用いる。 本手法は, 高い伝達性を示し, 最先端の手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-11-27T07:57:41Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization [21.81192774458227]
  主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。 提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
  論文  参考訳（メタデータ） (2021-11-01T04:54:55Z)
• LEGATO: A LayerwisE Gradient AggregaTiOn Algorithm for Mitigating Byzantine Attacks in Federated Learning [10.667821026727573]
  フェデレーション学習は、複数の参加者がデータを共有せずに協力的にモデルをトレーニングするためのメカニズムとして生まれました。 対照的にスケーラブルで一般化可能な集約アルゴリズムであるLayerwisE Gradient AggregatTiOn(LEGATO)を紹介する。 LEGATOは、複数の最先端技術よりも計算効率が良く、より一般的に様々な攻撃設定において堅牢であることを示す。
  論文  参考訳（メタデータ） (2021-07-26T21:34:45Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Quantizing data for distributed learning [24.46948464551684]
  通信制約がパフォーマンスのボトルネックを生じさせるネットワーク上のデータを活用することで、モデルをトレーニングする機械学習アプリケーションを検討する。 最近の多くのアプローチでは、更新の圧縮によってこのボトルネックを克服することを提案しているが、モデルが大きくなり、データセットのサイズも大きくなる。 本稿では,グラデーション更新よりもデータを定量化し,学習アプリケーションを支援することを提案する。
  論文  参考訳（メタデータ） (2020-12-14T19:54:41Z)
• A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding [57.1077544780653]
  我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。 グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。 このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
  論文  参考訳（メタデータ） (2020-06-26T08:34:54Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。