論文の概要: Dynamic Topology Optimization for Non-IID Data in Decentralized Learning

• arxiv url: http://arxiv.org/abs/2602.03383v1
• Date: Tue, 03 Feb 2026 11:07:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.404681
• Title: Dynamic Topology Optimization for Non-IID Data in Decentralized Learning
• Title（参考訳）: 分散学習における非IIDデータの動的トポロジー最適化
• Authors: Bart Cox, Antreas Ioannou, Jérémie Decouchant,
• Abstract要約: 分散学習(DL)のためのトポロジ最適化アルゴリズムであるMorphを提案する。 Morphでは、ノードは最大モデルの相似性に基づいて、モデル交換のためのピアを適応的に選択する。 最大100ノードのCIFAR-10とFEMNISTの実験は、Morphが静的および流行ベースラインを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 0.9749560288448113
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Decentralized learning (DL) enables a set of nodes to train a model collaboratively without central coordination, offering benefits for privacy and scalability. However, DL struggles to train a high accuracy model when the data distribution is non-independent and identically distributed (non-IID) and when the communication topology is static. To address these issues, we propose Morph, a topology optimization algorithm for DL. In Morph, nodes adaptively choose peers for model exchange based on maximum model dissimilarity. Morph maintains a fixed in-degree while dynamically reshaping the communication graph through gossip-based peer discovery and diversity-driven neighbor selection, thereby improving robustness to data heterogeneity. Experiments on CIFAR-10 and FEMNIST with up to 100 nodes show that Morph consistently outperforms static and epidemic baselines, while closely tracking the fully connected upper bound. On CIFAR-10, Morph achieves a relative improvement of 1.12x in test accuracy compared to the state-of-the-art baselines. On FEMNIST, Morph achieves an accuracy that is 1.08x higher than Epidemic Learning. Similar trends hold for 50 node deployments, where Morph narrows the gap to the fully connected upper bound within 0.5 percentage points on CIFAR-10. These results demonstrate that Morph achieves higher final accuracy, faster convergence, and more stable learning as quantified by lower inter-node variance, while requiring fewer communication rounds than baselines and no global knowledge.
• Abstract（参考訳）: 分散学習(DL)により、一組のノードが集中的な調整なしにモデルを協調的にトレーニングし、プライバシとスケーラビリティのメリットを提供する。 しかし、DLは、データ分布が非独立で同一の分散(非IID)であり、通信トポロジが静的である場合、高精度なモデルの訓練に苦慮している。 これらの問題に対処するため,DLのためのトポロジ最適化アルゴリズムであるMorphを提案する。 Morphでは、ノードは最大モデルの相似性に基づいて、モデル交換のためのピアを適応的に選択する。 Morphは、ゴシップベースのピア発見と多様性駆動の隣人選択を通じて、通信グラフを動的に再構築しながら、固定されたインディグリーを維持し、データの不均一性に対するロバスト性を改善する。 最大100個のノードを持つCIFAR-10とFEMNISTの実験では、Morphは、完全に接続された上界を綿密に追跡しながら、静的および流行のベースラインを一貫して上回ることを示した。 CIFAR-10では、Morphは最先端のベースラインと比較してテスト精度が1.12倍に向上した。 FEMNISTでは、Morphはエピデミック学習よりも1.08倍高い精度を達成する。 同様の傾向は50ノードの展開を保ち、MorphはCIFAR-10で0.5ポイントの範囲内で完全に接続された上界へのギャップを狭める。 これらの結果から,Morphはノード間分散の低減によって定量化され,ベースラインよりも通信ラウンドが少なく,グローバル知識も必要とせず,最終的な精度の向上,収束の速さ,より安定した学習を実現することが示された。

関連論文リスト

• GNN-based Unified Deep Learning [5.563171090433323]
  グラフ表現に各モデルをエンコードし、共有グラフ学習空間における統一を可能にする新しいパラダイムである統一学習を提案する。 統一学習は、モデルが一意分布で訓練され、混合分布でテストされると性能が向上し、見当たらないデータ分散シフトに対して強い堅牢性を示すことを示す。
  論文  参考訳（メタデータ） (2025-08-14T12:22:32Z)
• A Lightweight Deep Learning-based Model for Ranking Influential Nodes in Complex Networks [1.03590082373586]
  1D-CGSは、1次元畳み込みニューラルネットワーク(1D-CNN)の速度とGraphSAGEのトポロジ的表現能力を統合し、効率的なノードランク付けを実現する軽量で効果的なハイブリッドモデルである。 1D-CGSは、非常に高速な実行環境で動作しながら、従来の集中度尺度や近年のディープラーニングモデルよりも格付け精度が優れていることを示す。
  論文  参考訳（メタデータ） (2025-07-25T22:45:56Z)
• Efficient Federated Learning with Heterogeneous Data and Adaptive Dropout [62.73150122809138]
  Federated Learning(FL)は、複数のエッジデバイスを使用したグローバルモデルの協調トレーニングを可能にする、有望な分散機械学習アプローチである。 動的不均一モデルアグリゲーション(FedDH)と適応ドロップアウト(FedAD)の2つの新しい手法を備えたFedDHAD FLフレームワークを提案する。 これら2つの手法を組み合わせることで、FedDHADは精度(最大6.7%)、効率(最大2.02倍高速)、コスト(最大15.0%小型)で最先端のソリューションを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-07-14T16:19:00Z)
• Matcha: Mitigating Graph Structure Shifts with Test-Time Adaptation [66.40525136929398]
  テスト時間適応(TTA)は、ソースドメインに再アクセスすることなく、トレーニング済みのモデルをターゲットドメインに適応できる能力によって注目を集めている。 グラフの構造シフトへの効果的かつ効率的な適応を目的とした,革新的なフレームワークであるMatchaを提案する。 合成と実世界の両方のデータセットに対するMatchaの有効性を検証し、構造と属性シフトの様々な組み合わせにおける頑健さを実証した。
  論文  参考訳（メタデータ） (2024-10-09T15:15:40Z)
• NTK-DFL: Enhancing Decentralized Federated Learning in Heterogeneous Settings via Neural Tangent Kernel [27.92271597111756]
  Decentralized Federated Learning (DFL) は、中央サーバや生のデータ交換なしで参加者間でモデルをトレーニングするための、協調的な機械学習フレームワークである。 近年の研究では、集中型フレームワークにおけるフェデレーション学習に適用されたニューラルタンジェントカーネル(NTK)アプローチが、パフォーマンスの向上につながることが示されている。 本稿では,NTKベースの進化とモデル平均化の相乗効果を導入しながら,分散環境でクライアントモデルを訓練するためにNTKを活用するアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-02T18:19:28Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Layer-wise Adaptive Model Aggregation for Scalable Federated Learning [11.669431684184536]
  フェデレートラーニング(Federated Learning)では、クライアント間でローカルモデルを集約する一般的なアプローチとして、完全なモデルパラメータの定期的な平均化がある。 我々は,スケーラブルなフェデレート学習のためのレイヤワイドモデルアグリゲーションスキームであるFedLAMAを提案する。
  論文  参考訳（メタデータ） (2021-10-19T22:49:04Z)
• PushNet: Efficient and Adaptive Neural Message Passing [1.9121961872220468]
  メッセージパッシングニューラルネットワークは、最近、グラフ上での表現学習に対する最先端のアプローチへと進化した。 既存のメソッドは、複数のラウンドですべてのエッジに沿って同期メッセージパッシングを実行する。 我々は、収束するまで最も関連性の高いエッジに沿ってのみ情報をプッシュする、新しい非同期メッセージパッシングアプローチについて検討する。
  論文  参考訳（メタデータ） (2020-03-04T18:15:30Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。