論文の概要: Sheaf-Based Federated Representation Learning
- arxiv url: http://arxiv.org/abs/2608.10016v1
- Date: Sat, 08 Aug 2026 16:38:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.756429
- Title: Sheaf-Based Federated Representation Learning
- Title(参考訳): シェーフベースフェデレーション表現学習
- Abstract要約: SFRL(Sheaf-based Federated Representation Learning)
我々は、局所モデルの勾配更新とエッジワイド制約マップの閉形式Procrustes更新を交互に行う、SFRL(Sheaf-FRL)と呼ばれる分散アルゴリズムを開発した。
応用として,セマンティックコミュニケーションの文脈における協調的な分類課題を考える。
- 参考スコア(独自算出の注目度): 11.430396441085579
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Heterogeneous federated systems require agents to learn and exchange informative representations despite differences in data distributions, sensing modalities, model architectures, latent dimensionalities, and local learning objectives. To address this challenge, we propose Sheaf-based Federated Representation Learning (SFRL), a general framework that jointly optimizes local objectives with a manifold-constrained geometric alignment regularizer based on learnable sheaf restriction maps. Unlike most existing approaches, SFRL does not assume a shared global latent space. Instead, global consistency emerges from the alignment of neighboring latent representations through orthogonal transformations and isometric embeddings. This alignment is enforced by a quadratic gluing regularizer induced by the sheaf Laplacian, whose learnable restriction maps adapt the geometry to the observed data. The penalty is evaluated on a small set of shared pilot samples, ensuring scalability and communication efficiency. We develop a decentralized algorithm for solving SFRL, termed Sheaf-FRL, which alternates between gradient updates of the local models and closed-form Procrustes updates of the edge-wise restriction maps. We further establish convergence of Sheaf-FRL to first-order stationary points in both deterministic and stochastic settings. As an application, we consider a cooperative classification task in the context of semantic communication, under model and data heterogeneity. Our results show that Sheaf-FRL outperforms baseline approaches in terms of local and post-communication classification accuracy across different levels of local distribution shift and exhibits greater robustness to latent-space dimensionality compression.
- Abstract(参考訳): 不均一なフェデレーションシステムでは、データ分布の違い、モダリティの知覚、モデルアーキテクチャ、潜在次元、局所学習目的に関わらず、情報表現の学習と交換をエージェントが要求する。
この課題に対処するため,本研究では,局所的な目的を学習可能なシェフ制約マップに基づいて,多様体制約付き幾何アライメント正規化器と共同で最適化する一般フレームワークである,シェフに基づくフェデレート表現学習(SFRL)を提案する。
既存のほとんどのアプローチとは異なり、SFRLは共有グローバル潜在空間を仮定しない。
代わりに、グローバルな一貫性は、直交変換や等尺埋め込みを通じて、隣接する潜在表現のアライメントから生じる。
このアライメントは、層ラプラシアンによって誘導される二次グルーイング正規化器によって実施され、学習可能な制限写像は観測データに幾何学を適応させる。
ペナルティは、少数の共有パイロットサンプルで評価され、スケーラビリティと通信効率を確保する。
我々は、局所モデルの勾配更新とエッジワイド制約マップの閉形式Procrustes更新を交互に行う、SFRL(Sheaf-FRL)と呼ばれる分散アルゴリズムを開発した。
さらに, 決定論的および確率的設定において, Sheaf-FRL の1次定常点への収束を確立する。
応用として、モデルとデータの不均一性の下で、意味コミュニケーションの文脈において協調的な分類タスクを考える。
以上の結果から,Sheaf-FRLは局所的および通信後分類の精度において,局部分布シフトの異なるレベルにおいてベースラインアプローチよりも優れ,潜在空間次元圧縮に対するロバスト性が高いことが示された。
関連論文リスト
- Topology-Aware Neighborhood Learning for Source-Free Cross-Scene Hyperspectral Image Classification [11.354716471312239]
ドメイン適応は、複雑なシナリオにおける識別能力を大幅に向上させる、高度なクロスシーンハイパースペクトル画像分類を持つ。
従来のドメイン適応手法は非現実的になり、現実的なリモートセンシングのシナリオにおいてその実用性を著しく制限する。
ソースデータなしで、堅牢で正確な分類を実現するために、トポロジ対応のソースフリー学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-06T12:40:06Z) - Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。
近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。
我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
論文 参考訳(メタデータ) (2026-04-01T14:32:15Z) - NERVE: Neighbourhood & Entropy-guided Random-walk for training free open-Vocabulary sEgmentation [18.627047608492795]
NERVE (Open-Vocabulary Semantics, OVSS) の学習自由化手法を提案する。
NERVEはグローバルおよび微粒な局所情報を統合し、安定拡散モデルの自己アテンション層から近傍構造を利用する。
我々の手法は、条件付きランダムフィールド(CRF)や画素適応マスクリファインメント(PAMR)のような従来の後処理技術を必要としない。
論文 参考訳(メタデータ) (2025-11-11T13:43:57Z) - Widening the Network Mitigates the Impact of Data Heterogeneity on FedAvg [6.185573921868495]
フェデレートラーニング(FL)により、分散クライアントは、ローカルデータを共有せずに、協調的にモデルをトレーニングできる。
ニューラルネットワークの幅が大きくなると、データの不均一性の影響は減少し、幅が無限に近づくと最終的に消滅する。
無限幅系では、FedAvgのグローバルモデルと局所モデルの両方が線形モデルとして振る舞うことがさらに証明され、FedAvgはGD反復数と同じ数の集中学習と同じ一般化性能を達成する。
論文 参考訳(メタデータ) (2025-08-18T02:22:55Z) - DFed-SST: Building Semantic- and Structure-aware Topologies for Decentralized Federated Graph Learning [5.072144098417946]
Decentralized Federated Learning (DFL)は、堅牢な分散パラダイムとして登場した。
本稿では,適応通信を用いた分散グラフ学習フレームワークDFed-SSTを提案する。
8つの実世界のデータセットの実験は、DFed-SSTの優位性を一貫して示し、ベースライン法よりも平均精度が3.26%向上した。
論文 参考訳(メタデータ) (2025-08-15T15:15:54Z) - Geometric Knowledge-Guided Localized Global Distribution Alignment for Federated Learning [7.893874342163829]
本研究では,グローバルな埋め込み分布を局所的にシミュレートすることに焦点を当てた幾何学誘導型データ生成手法を提案する。
まず,埋め込み分布の幾何学的形状の概念を紹介する。
そして、プライバシー制約の下でグローバルな幾何学的形状を得るという課題に対処する。
論文 参考訳(メタデータ) (2025-03-09T05:30:28Z) - Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
分散学習計算(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方が中央サーバなしでクライアントによって実行されるFL設定をキャプチャする。
$textttDSpodFL$は、ローカルグラデーションとアグリゲーションプロセスの両方において、$textitsporadicity$という一般的な概念に基づいて構築されたDFL方法論である。
$textttDSpodFL$は、さまざまなシステム設定のベースラインと比較して、改善されたスピードを一貫して達成する。
論文 参考訳(メタデータ) (2024-02-05T19:02:19Z) - Generalizable Heterogeneous Federated Cross-Correlation and Instance
Similarity Learning [60.058083574671834]
本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。
不均一な問題に対しては、無関係な公開データを通信に活用する。
局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
論文 参考訳(メタデータ) (2023-09-28T09:32:27Z) - Federated Learning as Variational Inference: A Scalable Expectation
Propagation Approach [66.9033666087719]
本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。
我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
論文 参考訳(メタデータ) (2023-02-08T17:58:11Z) - Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:04:17Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳(メタデータ) (2021-12-12T06:11:16Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳(メタデータ) (2021-05-26T18:07:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。