論文の概要: DecHW: Heterogeneous Decentralized Federated Learning Exploiting Second-Order Information

• arxiv url: http://arxiv.org/abs/2601.19938v1
• Date: Fri, 16 Jan 2026 11:21:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 02:21:38.565525
• Title: DecHW: Heterogeneous Decentralized Federated Learning Exploiting Second-Order Information
• Title（参考訳）: DecHW: 不均一な分散フェデレーション学習が2次情報を爆発させる
• Authors: Adnan Ahmad, Chiara Boldrini, Lorenzo Valerio, Andrea Passarella, Marco Conti,
• Abstract要約: 本稿では,局所モデル間のパラメータレベルの異なる明示的信頼度に明示的に対処することにより,データとモデルの不均一性に対処する。 局所モデルにおけるこれらのパラメータの変動を捕捉し、局所的な更新を頑健に集約する新しいアグリゲーション手法が導入された。 コンピュータビジョンタスクによる広範な実験において,提案手法は通信コストの低減による局所モデルの強い一般化性を示す。
• 参考スコア（独自算出の注目度）: 1.5658704610960568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized Federated Learning (DFL) is a serverless collaborative machine learning paradigm where devices collaborate directly with neighbouring devices to exchange model information for learning a generalized model. However, variations in individual experiences and different levels of device interactions lead to data and model initialization heterogeneities across devices. Such heterogeneities leave variations in local model parameters across devices that leads to slower convergence. This paper tackles the data and model heterogeneity by explicitly addressing the parameter level varying evidential credence across local models. A novel aggregation approach is introduced that captures these parameter variations in local models and performs robust aggregation of neighbourhood local updates. Specifically, consensus weights are generated via approximation of second-order information of local models on their local datasets. These weights are utilized to scale neighbourhood updates before aggregating them into global neighbourhood representation. In extensive experiments with computer vision tasks, the proposed approach shows strong generalizability of local models at reduced communication costs.
• Abstract（参考訳）: 分散フェデレートラーニング(Decentralized Federated Learning, DFL)は、デバイスが近隣デバイスと直接協力して一般化モデルを学ぶためのモデル情報を交換する、サーバレスのコラボレーティブ機械学習パラダイムである。 しかし、個々の体験のバリエーションとデバイス間の相互作用のレベルの違いは、デバイス間のデータおよびモデル初期化の不均一性につながる。 このような不均一性は、収束の遅いデバイスにまたがる局所モデルパラメータのばらつきを残している。 本稿では,局所モデル間のパラメータレベルの異なる明示的信頼度に明示的に対処することにより,データとモデルの不均一性に対処する。 局所モデルにおけるこれらのパラメータの変動を捕捉し、局所的な更新を頑健に集約する新しいアグリゲーション手法が導入された。 特に、コンセンサス重みは、ローカルデータセット上のローカルモデルの2階情報の近似によって生成される。 これらの重みは、グローバルな近隣表現に集約する前に、近隣の更新をスケールするために利用される。 コンピュータビジョンタスクによる広範な実験において,提案手法は通信コストの低減による局所モデルの強い一般化性を示す。

関連論文リスト

• Game-theoretic distributed learning of generative models for heterogeneous data collections [2.1485350418225244]
  ローカルモデルは、データからパラメータを学習する機能を備えた「ブラックボックス」として扱うことができる。 我々は、ゲーム理論の原理から始まる協調ゲームとして、局所モデルの学習を定式化する。
  論文  参考訳（メタデータ） (2025-11-03T16:52:04Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Federated Learning of Models Pre-Trained on Different Features with Consensus Graphs [19.130197923214123]
  プライベートデータセットと分散データセットで効果的なグローバルモデルを学ぶことは、機械学習においてますます重要な課題になりつつある。 本稿では,局所モデルから局所表現を抽出し,それらをグローバル表現に組み込んで予測性能を向上させる特徴融合手法を提案する。 本稿では,これらの問題に対する解決策を提示し,電力網や交通網などの時系列データを用いた実世界の応用例を示す。
  論文  参考訳（メタデータ） (2023-06-02T02:24:27Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Think Locally, Act Globally: Federated Learning with Local and Global Representations [92.68484710504666]
  フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。 本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。 また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
  論文  参考訳（メタデータ） (2020-01-06T12:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。