論文の概要: Federated scientific machine learning for approximating functions and solving differential equations with data heterogeneity

• arxiv url: http://arxiv.org/abs/2410.13141v1
• Date: Thu, 17 Oct 2024 01:57:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:18:15.400567
• Title: Federated scientific machine learning for approximating functions and solving differential equations with data heterogeneity
• Title（参考訳）: データ不均一性を持つ微分方程式の近似と解法のためのフェデレーション科学機械学習
• Authors: Handi Zhang, Langchen Liu, Lu Lu,
• Abstract要約: 本稿では、複素関数を近似し微分方程式を解くためのFLとSciMLの統合について検討する。 非独立かつ同一に分散したデータ(非ID)の度合いを制御できる様々なデータ生成手法を提案する。 提案手法の有効性を実証するため,FedPINN上のPDE問題2,FedDeepONet上でのPDE問題5,PDE問題3の10実験を行った。
• 参考スコア（独自算出の注目度）: 2.4442398425025416
• License:
• Abstract: By leveraging neural networks, the emerging field of scientific machine learning (SciML) offers novel approaches to address complex problems governed by partial differential equations (PDEs). In practical applications, challenges arise due to the distributed essence of data, concerns about data privacy, or the impracticality of transferring large volumes of data. Federated learning (FL), a decentralized framework that enables the collaborative training of a global model while preserving data privacy, offers a solution to the challenges posed by isolated data pools and sensitive data issues. Here, this paper explores the integration of FL and SciML to approximate complex functions and solve differential equations. We propose two novel models: federated physics-informed neural networks (FedPINN) and federated deep operator networks (FedDeepONet). We further introduce various data generation methods to control the degree of non-independent and identically distributed (non-iid) data and utilize the 1-Wasserstein distance to quantify data heterogeneity in function approximation and PDE learning. We systematically investigate the relationship between data heterogeneity and federated model performance. Additionally, we propose a measure of weight divergence and develop a theoretical framework to establish growth bounds for weight divergence in federated learning compared to traditional centralized learning. To demonstrate the effectiveness of our methods, we conducted 10 experiments, including 2 on function approximation, 5 PDE problems on FedPINN, and 3 PDE problems on FedDeepONet. These experiments demonstrate that proposed federated methods surpass the models trained only using local data and achieve competitive accuracy of centralized models trained using all data.
• Abstract（参考訳）: ニューラルネットワークを活用することで、科学機械学習(SciML)の新興分野は、偏微分方程式(PDE)によって支配される複雑な問題に対処するための新しいアプローチを提供する。 実践的なアプリケーションでは、データの本質の分散、データのプライバシに関する懸念、あるいは大量のデータを転送する非現実性によって、課題が発生する。 データプライバシを保護しながらグローバルモデルの協調トレーニングを可能にする分散フレームワークであるフェデレートラーニング(FL)は、独立したデータプールと機密データ問題によって引き起こされる課題に対する解決策を提供する。 本稿では、複素関数を近似し微分方程式を解くためのFLとSciMLの統合について検討する。 本稿では,FedPINN(Federated Physics-informed Neural Network)とFedDeepONet(FedDeepONet)の2つの新しいモデルを提案する。 さらに、1-ワッサーシュタイン距離を利用して関数近似とPDE学習におけるデータの不均一性を定量化する。 本研究では,データの不均一性とフェデレートモデルの性能の関係を系統的に検討する。 さらに,従来の集中学習と比較して,重み分散の尺度を提案し,重み分散のための成長境界を確立するための理論的枠組みを構築した。 提案手法の有効性を実証するため,FedPINN上のPDE問題2,FedDeepONet上でのPDE問題5,PDE問題3の10実験を行った。 これらの実験により, 提案手法は局所データのみを用いて訓練したモデルを超越し, 全データを用いて訓練した集中型モデルの競合精度が得られた。

関連論文リスト

• Algorithms for Collaborative Machine Learning under Statistical Heterogeneity [1.8130068086063336]
  フェデレーション学習は、現在、異種データ所有者間で機械学習モデルをトレーニングするデファクトスタンダードである。 この論文では、三つの主要な要因が出発点(textitパラメータ、textitmixing coefficient、textitlocal data distributions)とみなすことができる。
  論文  参考訳（メタデータ） (2024-07-31T16:32:34Z)
• A review on different techniques used to combat the non-IID and heterogeneous nature of data in FL [0.0]
  Federated Learning(FL)は、複数のエッジデバイス間で協調的なモデルトレーニングを可能にする機械学習アプローチである。 FLの重要性は、医療や金融などの業界で特に顕著であり、データのプライバシが最重要視されている。 この報告は、非IIDおよび異種データから生じる問題を掘り下げ、これらの課題に対処するために設計された現在のアルゴリズムを探求する。
  論文  参考訳（メタデータ） (2024-01-01T16:34:00Z)
• FedSym: Unleashing the Power of Entropy for Benchmarking the Algorithms for Federated Learning [1.4656078321003647]
  Federated Learning(FL)は、独立した学習者がデータをプライベートに処理する分散機械学習アプローチである。 現在普及しているデータ分割技術について検討し、その主な欠点を可視化する。 エントロピーと対称性を利用して「最も困難」かつ制御可能なデータ分布を構築する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T18:39:08Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
  フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。 本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。 これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
  論文  参考訳（メタデータ） (2022-05-19T03:32:03Z)
• FedDKD: Federated Learning with Decentralized Knowledge Distillation [3.9084449541022055]
  分散知識蒸留法(FedDKD)を応用した新しいフェデレートラーニングフレームワークを提案する。 我々は、FedDKDが、いくつかのDKDステップにおいて、より効率的なコミュニケーションと訓練により最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-02T07:54:07Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty [18.096788806121754]
  近年,フェデレートラーニング(FL)が注目されている。 知識グラフ(KG)上でのフェデレーションモデリングを行うグラフニューラルネットワークアルゴリズムの修正版を提案する。 我々は,1) クライアント上でのパーソナライズのための最適輸送(OT)と,2) 収束を高速化するための重み制約を備えた新しい最適化アルゴリズムであるFedAlignを提案する。 実験の結果,提案手法はFedAVGやFedProxといった最先端のFL法よりも優れており,収束性が高いことがわかった。
  論文  参考訳（メタデータ） (2020-11-23T12:52:18Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。