論文の概要: OmniISR: A Unified Framework for Centralized and Federated Learning via Intermediate Supervision and Regularization

• arxiv url: http://arxiv.org/abs/2605.20276v1
• Date: Tue, 19 May 2026 04:13:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.260774
• Title: OmniISR: A Unified Framework for Centralized and Federated Learning via Intermediate Supervision and Regularization
• Title（参考訳）: OmniISR: 中間的スーパービジョンと正規化による集中型およびフェデレーション型学習のための統一フレームワーク
• Authors: Wei-Bin Kou, Guangxu Zhu, Ming Tang, Chen Zhang, Lisheng Wu, Lei Zhou, Yujiu Yang,
• Abstract要約: 我々は、純粋なCL、純粋なFL、ハイブリッドCL-FLトレーニングモードを融合する統合フレームワークであるOmniISRを提案する。 我々は,OmniISRが集中型パラダイムとフェデレーション型パラダイムの両方において,モデル性能を一貫して改善していることを示す。
• 参考スコア（独自算出の注目度）: 58.03221830946145
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The global deployment of edge intelligence operates across heterogeneous legal frameworks. While some regions permit centralized learning (CL) via cloud data aggregation, others enforce strict data localization, necessitating federated learning (FL). This operational dichotomy introduces two incompatible optimization regimes (i.e., unbiased global gradients yet coupled with internal covariate shift in CL versus biased, drift-prone local updates in FL), resulting in that any naive integration of the two lacks rigorous theoretical guarantees. To fill this gap, we propose OmniISR, a unified framework that fuses pure CL, pure FL, and hybrid CL-FL training modes via equipping intermediate supervision and regularization (ISR) signals at multiple hidden layers. Specifically, we propose (i) to use mutual-information (MI) as intermediate supervision to align shifting internal covariate in CL and client-drifting representations in FL, and (ii) to adopt negative-entropy (NE) as intermediate regularizer to penalize overconfident prediction, preserve representational uncertainty, and avoid device-specific collapse. On the theory side, we derive (i) a unified, ISR-agnostic, and non-asymptotic O(1/sqrt(T)) convergence bound that shows the introduced ISR does not violate standard SGD convergence, (ii) a federated drift-bound that quantifies the ISR-reduced client drift, (iii) a gradient-alignment guarantee that ensures non-conflicting CL and FL updates under mild bias, and (iv) an explicit escape-time bound that indicates that CL-FL hybrid mixing enlarges effective stochasticity and accelerates escape from strict saddles. Extensive experiments demonstrate that OmniISR consistently improves model performance in both centralized and federated paradigms, reduces the CL-FL gap by 22.60%, and yields 37/48 paired metric wins across multiple FL algorithms.
• Abstract（参考訳）: エッジインテリジェンスのグローバル展開は、異質な法律フレームワークにわたって機能する。 一部のリージョンは、クラウドデータアグリゲーションを介して集中学習(CL)を許可するが、他のリージョンは厳格なデータローカライゼーションを強制し、フェデレーションドラーニング(FL)を必要とする。 このオペレーショナル二分法は、2つの非互換な最適化規則(すなわち、CLの内部共変量シフトとFLのバイアス付き、ドリフトに起因した局所的な更新とが結合)を導入し、その結果、この2つの非互換な統合は厳密な理論的保証を欠いている。 このギャップを埋めるために、複数の隠蔽層に中間監視・正規化(ISR)信号を装備することにより、純粋なCL、純粋なFL、ハイブリッドCL-FLトレーニングモードを融合する統合フレームワークであるOmniISRを提案する。 具体的には 一 相互情報(MI)を中間監督として用いて、CL内におけるシフトする内部共変量とFL内におけるクライアントドリフト表現を整合させること。 2) 中間正則化として負エントロピー(NE)を採用し, 過信予測をペナルティ化し, 表現の不確実性を保ち, デバイス固有の崩壊を避けること。 理論に関して、我々は導かれる i) 導入された ISR が標準の SGD 収束に反しないことを示す統一的で ISR に依存しない非漸近的な O(1/sqrt(T)) 収束境界。 (ii) ISRによるクライアントのドリフトを定量化するフェデレートドリフトバウンド。 三 軽度バイアス下でのCL及びFLの更新の非競合を保証する勾配調整保証 (iv)CL-FLハイブリッド混合が有効確率を増大させ、厳密なサドルからの脱出を加速させる明示的な逃避時間境界。 大規模な実験により、OmniISRは集中型とフェデレーション型の両方のパラダイムのモデル性能を一貫して改善し、CL-FLギャップを22.60%削減し、複数のFLアルゴリズムで37/48対のメートル法が勝利することを示した。

関連論文リスト

• Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
  本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。 このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。 安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
  論文  参考訳（メタデータ） (2026-03-07T01:49:59Z)
• Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
  Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。 実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T05:54:59Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• Clustered Federated Learning based on Nonconvex Pairwise Fusion [22.82565500426576]
  我々はFusion Clustering (FPFC)と呼ばれる新しいクラスタリングFL設定を導入する。 FPFCは、各通信で部分的な更新を行うことができ、可変ワークロードによる並列計算を可能にする。 また,FLFCの全般的損失とロバスト性を考慮した新しい実用戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-08T13:04:56Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。