論文の概要: Robust Federated Learning against Model Perturbation in Edge Networks

• arxiv url: http://arxiv.org/abs/2505.24728v1
• Date: Fri, 30 May 2025 15:52:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:53.051633
• Title: Robust Federated Learning against Model Perturbation in Edge Networks
• Title（参考訳）: エッジネットワークにおけるモデル摂動に対するロバストなフェデレーション学習
• Authors: Dongzi Jin, Yong Xiao, Yingyu Li,
• Abstract要約: シャープネスを考慮したロバストフェデレーション学習(SMRFL)を提案する。 SMRFLは、モデルランドスケープの幾何学的性質を探索することにより、摂動に対するモデルロバスト性を改善することを目的としている。 SMRFLは3つのベースライン法と比較して摂動に対する頑健さを著しく向上させることを示した。
• 参考スコア（独自算出の注目度）: 3.1259076207785084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is a promising paradigm for realizing edge intelligence, allowing collaborative learning among distributed edge devices by sharing models instead of raw data. However, the shared models are often assumed to be ideal, which would be inevitably violated in practice due to various perturbations, leading to significant performance degradation. To overcome this challenge, we propose a novel method, termed Sharpness-Aware Minimization-based Robust Federated Learning (SMRFL), which aims to improve model robustness against perturbations by exploring the geometrical property of the model landscape. Specifically, SMRFL solves a min-max optimization problem that promotes model convergence towards a flat minimum by minimizing the maximum loss within a neighborhood of the model parameters. In this way, model sensitivity to perturbations is reduced, and robustness is enhanced since models in the neighborhood of the flat minimum also enjoy low loss values. The theoretical result proves that SMRFL can converge at the same rate as FL without perturbations. Extensive experimental results show that SMRFL significantly enhances robustness against perturbations compared to three baseline methods on two real-world datasets under three perturbation scenarios.
• Abstract（参考訳）: フェデレートラーニング(FL)は、エッジインテリジェンスを実現するための有望なパラダイムであり、生データではなくモデルを共有することによって、分散エッジデバイス間の協調的な学習を可能にする。 しかし、共有モデルはしばしば理想であると仮定され、様々な摂動によって必然的に侵害され、性能が著しく低下する。 この課題を克服するために、モデルランドスケープの幾何学的特性を探索することにより、摂動に対するモデルロバスト性を改善することを目的とした、シャープネス・アウェア・最小化に基づくロバストフェデレートラーニング(SMRFL)と呼ばれる新しい手法を提案する。 具体的には、SMRFLはモデルパラメータの近傍における最大損失を最小限に抑え、モデル収束を平坦な最小まで促進する min-max 最適化問題を解く。 このように、摂動に対するモデル感度が低下し、平坦な最小値付近のモデルも損失値が低いため、ロバスト性が向上する。 理論的な結果は、SMRFLが摂動なしでFLと同じ速度で収束できることを証明している。 広汎な実験結果から,SMRFLは3つの摂動シナリオ下での2つの実世界のデータセット上での3つのベースライン法と比較して,摂動に対するロバスト性を大幅に向上させることが示された。

関連論文リスト

• Gen-DFL: Decision-Focused Generative Learning for Robust Decision Making [48.62706690668867]
  意思決定型生成学習(Gen-DFL)は、生成モデルを利用して不確実性を適応的にモデル化し、意思決定品質を向上させる新しいフレームワークである。 本論文は,Gen-DFLが従来のDFLと比較して,最悪の性能バウンダリを改善できることを理論的に示す。
  論文  参考訳（メタデータ） (2025-02-08T06:52:11Z)
• Feasible Learning [78.6167929413604]
  本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。 大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
  論文  参考訳（メタデータ） (2025-01-24T20:39:38Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction [22.567754688492414]
  クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。 近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。 本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
  論文  参考訳（メタデータ） (2023-10-12T19:07:58Z)
• CorrFL: Correlation-Based Neural Network Architecture for Unavailability Concerns in a Heterogeneous IoT Environment [3.9414768019101682]
  連邦学習(FL)パラダイムは、現実の環境での適用を制限するいくつかの課題に直面しています。 これらの課題には、ローカルモデルのアーキテクチャの不均一性と、接続上の問題により分散IoT(Internet of Things)ノードが利用できないことが含まれる。 本稿では,この問題に対処するための表現型学習分野の影響を受け,相関型FL (CorrFL) アプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-22T19:23:06Z)
• A Probabilistic Attention Model with Occlusion-aware Texture Regression for 3D Hand Reconstruction from a Single RGB Image [5.725477071353354]
  深層学習のアプローチは、1枚のRGB画像から3Dの手の再構築に有望な結果を示している。 本稿では,モデルに基づくアプローチの堅牢性を実現するための新しい確率モデルを提案する。 本稿では,教師付きシナリオと弱教師付きシナリオの両方において,提案する確率モデルの柔軟性を実証する。
  論文  参考訳（メタデータ） (2023-04-27T16:02:32Z)
• Revisit Geophysical Imaging in A New View of Physics-informed Generative Adversarial Learning [2.12121796606941]
  完全な波形反転は高分解能地下モデルを生成する。 最小二乗関数を持つFWIは、局所ミニマ問題のような多くの欠点に悩まされる。 偏微分方程式とニューラルネットワークを用いた最近の研究は、2次元FWIに対して有望な性能を示している。 本稿では,波動方程式を識別ネットワークに統合し,物理的に一貫したモデルを正確に推定する,教師なし学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-09-23T15:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。