論文の概要: Fast-Convergent and Communication-Alleviated Heterogeneous Hierarchical Federated Learning in Autonomous Driving

• arxiv url: http://arxiv.org/abs/2409.19560v1
• Date: Sun, 29 Sep 2024 05:27:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 22:28:30.533890
• Title: Fast-Convergent and Communication-Alleviated Heterogeneous Hierarchical Federated Learning in Autonomous Driving
• Title（参考訳）: 自律運転における高速収束とコミュニケーションの両立した不均一な階層的フェデレーション学習
• Authors: Wei-Bin Kou, Qingfeng Lin, Ming Tang, Rongguang Ye, Shuai Wang, Guangxu Zhu, Yik-Chung Wu,
• Abstract要約: ストリートシーンのセマンティック理解(TriSU)は、自動運転(AD)の複雑なタスクである 特定の地理的領域のデータからトレーニングされた推論モデルは、都市間データドメインシフトによって他の領域に適用された場合、一般化が不十分である。 Hierarchical Federated Learning (HFL)は、異なる都市の分散データセット上での協調的なプライバシ保存トレーニングによって、TriSUモデルの一般化を改善する潜在的なソリューションを提供する。
• 参考スコア（独自算出の注目度）: 29.646749372031593
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Street Scene Semantic Understanding (denoted as TriSU) is a complex task for autonomous driving (AD). However, inference model trained from data in a particular geographical region faces poor generalization when applied in other regions due to inter-city data domain-shift. Hierarchical Federated Learning (HFL) offers a potential solution for improving TriSU model generalization by collaborative privacy-preserving training over distributed datasets from different cities. Unfortunately, it suffers from slow convergence because data from different cities are with disparate statistical properties. Going beyond existing HFL methods, we propose a Gaussian heterogeneous HFL algorithm (FedGau) to address inter-city data heterogeneity so that convergence can be accelerated. In the proposed FedGau algorithm, both single RGB image and RGB dataset are modelled as Gaussian distributions for aggregation weight design. This approach not only differentiates each RGB image by respective statistical distribution, but also exploits the statistics of dataset from each city in addition to the conventionally considered data volume. With the proposed approach, the convergence is accelerated by 35.5\%-40.6\% compared to existing state-of-the-art (SOTA) HFL methods. On the other hand, to reduce the involved communication resource, we further introduce a novel performance-aware adaptive resource scheduling (AdapRS) policy. Unlike the traditional static resource scheduling policy that exchanges a fixed number of models between two adjacent aggregations, AdapRS adjusts the number of model aggregation at different levels of HFL so that unnecessary communications are minimized. Extensive experiments demonstrate that AdapRS saves 29.65\% communication overhead compared to conventional static resource scheduling policy while maintaining almost the same performance.
• Abstract（参考訳）: ストリートシーンセマンティック理解(Street Scene Semantic Understanding、TriSU)は、自動運転(AD)の複雑なタスクである。 しかし、特定の地理的領域のデータから訓練された推論モデルは、都市間データドメインシフトによって他の領域に適用された場合、一般化が不十分である。 Hierarchical Federated Learning (HFL)は、異なる都市の分散データセット上での協調的なプライバシ保存トレーニングによって、TriSUモデルの一般化を改善する潜在的なソリューションを提供する。 残念なことに、異なる都市のデータは異なる統計特性を持つため、収束が遅い。 既存のHFL法を超えて,都市間データの不均一性に対処し,収束を加速するガウス異質HFLアルゴリズム(FedGau)を提案する。 提案したFedGauアルゴリズムでは、単一のRGB画像とRGBデータセットの両方をガウス分布としてモデル化し、集約重み付け設計を行う。 このアプローチは、各RGB画像を統計分布で区別するだけでなく、従来検討されていたデータ量に加えて、各都市からのデータセットの統計を利用する。 提案手法では既存のSOTA法と比較して35.5 %-40.6 %の収束が加速される。 一方,通信資源の削減のため,新たなアダプティブ・アダプティブ・リソース・スケジューリング(AdapRS)ポリシーを導入する。 隣接する2つのアグリゲーション間で一定の数のモデルを交換する従来の静的リソーススケジューリングポリシーとは異なり、AdapRSは不必要な通信を最小限に抑えるために異なるレベルのHFLのモデルアグリゲーション数を調整している。 大規模な実験では、AdapRSは従来の静的リソーススケジューリングポリシーと比べて29.65 %の通信オーバーヘッドを節約し、ほぼ同じ性能を維持している。

関連論文リスト

• Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
  分散分散学習(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方をクライアントが中央サーバなしで実行するFL設定をキャプチャする。 DSpodFLは、さまざまなシステム設定下でのベースラインと比較して、一貫して速度を達成している。
  論文  参考訳（メタデータ） (2024-02-05T19:02:19Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• SARN: Structurally-Aware Recurrent Network for Spatio-Temporal Disaggregation [8.636014676778682]
  オープンデータは、通常プライバシーポリシーに従うために、しばしば空間的に集約される。しかし、粗い、異質な集約は、下流のAI/MLシステムに対する一貫性のある学習と統合を複雑にする。 本稿では,空間的注意層をGRU(Gated Recurrent Unit)モデルに統合したSARN(Structurely-Aware Recurrent Network)を提案する。 履歴学習データに制限のあるシナリオでは、ある都市変数に事前学習したモデルを、数百のサンプルのみを用いて、他の都市変数に対して微調整できることを示す。
  論文  参考訳（メタデータ） (2023-06-09T21:01:29Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• A Newton-type algorithm for federated learning based on incremental Hessian eigenvector sharing [5.404315085380945]
  我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。 提案手法は実際のデータセットで完全に検証される。
  論文  参考訳（メタデータ） (2022-02-11T17:52:56Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Statistical Estimation and Inference via Local SGD in Federated Learning [23.32304977333178]
  本稿では,フェデレート環境での統計的推定と推測を行う方法について検討する。 間欠的通信を用いて通信効率を向上させるマルチラウンド推定手法であるLocal SGDを解析する。
  論文  参考訳（メタデータ） (2021-09-03T06:02:19Z)
• FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
  フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。 現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。 我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
  論文  参考訳（メタデータ） (2021-07-01T06:14:51Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。