論文の概要: Data-Topology Compatibility Enables Personalization in Decentralized Learning
- arxiv url: http://arxiv.org/abs/2610.15126v1
- Date: Sat, 10 Oct 2026 19:00:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 02:29:17.862029
- Title: Data-Topology Compatibility Enables Personalization in Decentralized Learning
- Title(参考訳): 分散学習におけるパーソナライズを可能にするデータトポロジ互換性
- Abstract要約: データトポロジの互換性は、軌道ワイドパーソナライゼーションの堅牢化を可能にすることを示す。
これにより、グローバルコンセンサスと独立したローカルラーニングの間に新たな中間体制が生まれる。
- 参考スコア(独自算出の注目度): 18.869134575012065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decentralized learning must balance collaboration with personalization across heterogeneous agents. This paper studies when cooperation can support statistically coherent groups of personalized models. We show that data-topology compatibility enables robust orbit-wise personalization: when local objectives and communication topology have (approximately) compatible automorphisms, agents within an orbit share (approximately) equal limiting distributions, while different orbits remain distinct without explicit personalization. This creates a new intermediate regime between global consensus and independent local learning. Under exact data-topology compatibility, as a reference system, we decompose the stochastic learning dynamics into orbit-level and transverse components, derive a necessary and sufficient stability criterion for distributional synchronization, and characterize the orbit-structured stationary law. Modelling an approximate data-topology compatible system as an $\varepsilon$-perturbed reference system, we prove the introduced errors have uniform-in-time and stationary $O(\varepsilon)$ bounds in 2-Wasserstein distance. We also prove sufficient conditions for lower stationary average excess risk than both independent local training and the best single shared parameter. Experiments on synthetic data, MNIST, and CIFAR-10 are in full agreement with the theory. The code is available at https://github.com/Veronicaaa1/orbit-personalization.
- Abstract(参考訳): 分散学習は、異種エージェント間の協調とパーソナライゼーションのバランスをとる必要がある。
本稿では,パーソナライズされたモデルの統計的コヒーレントなグループを協調的に支援する方法について検討する。
局所的な目的と通信トポロジが(ほぼ)互換な自己同型を持つ場合、軌道内のエージェントは(ほぼ)等しい制限分布を共有し、一方、異なる軌道は明示的なパーソナライゼーションなしに区別される。
これにより、グローバルコンセンサスと独立したローカルラーニングの間に新たな中間体制が生まれる。
データトポロジーの正確な互換性の下では、基準系として確率的学習力学を軌道レベルと横成分に分解し、分布同期に必要な安定性基準を導出し、軌道構造定常法則を特徴づける。
近似データトポロジ互換系を$\varepsilon$-perturbed参照系としてモデル化し、2-ワッサーシュタイン距離における一様かつ定常な$O(\varepsilon)$境界を持つことを示す。
また,個別の局所訓練と最高の共有パラメータよりも,定常的平均余剰リスクが低いという条件も証明した。
合成データ、MNIST、CIFAR-10の実験は、この理論と完全に一致している。
コードはhttps://github.com/Veronicaa1/orbit-personalizationで公開されている。
関連論文リスト
- Sheaf-Based Federated Representation Learning [11.430396441085579]
SFRL(Sheaf-based Federated Representation Learning)
我々は、局所モデルの勾配更新とエッジワイド制約マップの閉形式Procrustes更新を交互に行う、SFRL(Sheaf-FRL)と呼ばれる分散アルゴリズムを開発した。
応用として,セマンティックコミュニケーションの文脈における協調的な分類課題を考える。
論文 参考訳(メタデータ) (2026-08-08T16:38:34Z) - Geometry-Aware Dataset Condensation for Diffusion Model Training [103.45641113998839]
幾何学的分布アライメント問題として,実部分集合選択を再構成することを提案する。
本手法は,一方的な部分的最適輸送を組み込むことで,コンパクトな部分集合を全データ分布に選択的に整列させる。
拡散変形, 部分集合サイズ, 画像解像度, 訓練ラウンドにおける実験により, 本手法が優れた忠実度と分布範囲を実現することを示す。
論文 参考訳(メタデータ) (2026-06-04T08:53:58Z) - Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳(メタデータ) (2026-02-24T05:32:03Z) - An Adaptive Resonance Theory-based Topological Clustering Algorithm with a Self-Adjusting Vigilance Parameter [6.868495647132414]
本稿では,適応共振理論に基づくトポロジカルクラスタリングアルゴリズムを提案する。
多様性駆動適応機構を通じて、再計算間隔と警戒閾値を自律的に調整する。
24の実世界のデータセットに対する実験により、提案アルゴリズムはクラスタリング性能と連続学習能力の両方において最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2025-11-22T08:53:59Z) - Symmetric Equilibrium Learning of VAEs [56.56929742714685]
可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。
本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
論文 参考訳(メタデータ) (2023-07-19T10:27:34Z) - Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。
SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。
SFSCは評価データセット上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-06-16T16:46:32Z) - Decentralized Event-Triggered Federated Learning with Heterogeneous
Communication Thresholds [12.513477328344255]
ネットワークグラフトポロジ上での非同期なイベントトリガーによるコンセンサス反復による分散モデルアグリゲーションのための新しい手法を提案する。
本手法は,分散学習とグラフコンセンサス文学における標準的な仮定の下で,グローバルな最適学習モデルを実現することを実証する。
論文 参考訳(メタデータ) (2022-04-07T20:35:37Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳(メタデータ) (2021-06-15T17:45:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。