論文の概要: A Hierarchical Sampling Framework for bounding the Generalization Error of Federated Learning

• arxiv url: http://arxiv.org/abs/2605.03499v1
• Date: Tue, 05 May 2026 08:35:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.84663
• Title: A Hierarchical Sampling Framework for bounding the Generalization Error of Federated Learning
• Title（参考訳）: フェデレーション学習の一般化誤差を限定する階層型サンプリングフレームワーク
• Authors: Dario Filatrella, Ragnar Thobaben, Mikael Skoglund,
• Abstract要約: ワッサーシュタイン距離を用いた階層型連邦学習(HFL)の予測一般化境界について検討した。 損失函数上のリプシッツ仮定の下でワッサーシュタイン距離の項で一般化境界を導出する。 プライバシーに基づく一般化バウンダリを回復するために,差分プライバシの仮定とともに,我々のバウンダリを適用できることが示される。
• 参考スコア（独自算出の注目度）: 23.580547146143612
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study expected generalization bounds for the Hierarchical Federated Learning (HFL) setup using Wasserstein distance. We introduce a generalized framework in which data is sampled hierarchically, and we model it with a multi-layered tree structure that induces dependencies among the clients' datasets. We derive generalization bounds in terms of Wasserstein distance under the Lipschitz assumption on the loss function, by applying a supersample construction that allows us to measure the sensitivity of the algorithm to the change of a single node in the sampling tree. By leveraging the FL structure, we recover and strictly imply existing state-of-the-art conditional mutual information (CMI) bounds in the case of bounded losses. We also show that our bound can be applied together with Differential Privacy assumptions, to recover generalization bounds based on algorithmic privacy. To assess the tightness of our bounds, we study the Gaussian Location Model (GLM) and show that we recover the actual asymptotic rate of the generalization error.
• Abstract（参考訳）: ワッサーシュタイン距離を用いた階層型連邦学習(HFL)の予測一般化境界について検討した。 データを階層的にサンプリングする一般化されたフレームワークを導入し、クライアントのデータセット間の依存関係を誘導する多層木構造でモデル化する。 損失関数上のリプシッツ仮定の下でのワッサーシュタイン距離の項による一般化境界を導出し、サンプリングツリー内の単一ノードの変化に対するアルゴリズムの感度を測定するスーパーサンプル構成を適用する。 FL構造を利用することで,有界損失の場合の既存の条件付き相互情報(CMI)境界を復元し,厳密に示唆する。 また,アルゴリズムのプライバシに基づく一般化バウンダリを回復するために,差分プライバシ仮定と併用できることも示している。 境界の厳密性を評価するため,ガウス位置モデル(GLM)について検討し,一般化誤差の実際の漸近速度を復元することを示した。

関連論文リスト

• On Multi-Step Theorem Prediction via Non-Parametric Structural Priors [50.16583672681106]
  本研究では,インコンテキスト学習(ICL)のレンズによる学習自由な定理予測について検討する。 本稿では,過去の解の時間的依存関係を有向グラフとしてエンコードし,推論中に探索空間を効果的に引き起こす明示的なトポロジ的制約を課すTheorem Precedence Graphsを提案する。 FormalGeo7kベンチマークの実験から,本手法は89.29%の精度を実現し,ICLベースラインを著しく上回り,最先端の教師付きモデルに適合することがわかった。
  論文  参考訳（メタデータ） (2026-03-05T06:08:50Z)
• Understanding Generalization from Embedding Dimension and Distributional Convergence [13.491874401333021]
  表現中心の観点から一般化を研究し、学習した埋め込みの幾何学が固定訓練モデルの予測性能をどのように制御するかを分析する。 人口リスクは, (i) 埋込み分布の内在的次元, (i) 埋込み分布のワッサーシュタイン距離における人口分布への収束率, (ii) 埋込みから予測への下流マッピングの感度, (ii) リプシッツ定数によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-30T09:32:04Z)
• Towards A Unified PAC-Bayesian Framework for Norm-based Generalization Bounds [63.47271262149291]
  PAC-Bayesianノルムに基づく一般化のための統一的なフレームワークを提案する。 提案手法の鍵となるのは、構造的重み摂動に関してネットワーク出力を定量化する感度行列である。 我々は、いくつかの既存のPAC-ベイジアン結果を特殊ケースとして回復する一般化境界の族を導出する。
  論文  参考訳（メタデータ） (2026-01-13T00:42:22Z)
• Tree-Preconditioned Differentiable Optimization and Axioms as Layers [0.0]
  Axioms-as-Layers"パラダイムは、ランダムユーティリティモデルの公理構造を直接ディープニューラルネットワークに埋め込む。 公理としてのレイヤー」パラダイムは、ペナルティに基づく手法に固有の構造的過適合を排除している。
  論文  参考訳（メタデータ） (2025-12-03T04:47:37Z)
• Architecture independent generalization bounds for overparametrized deep ReLU networks [0.9687141267566189]
  過度パラメータ化ニューラルネットワークは、過度パラメータ化のレベルに依存しないテストエラーで一般化できることを示す。 入力空間次元で有界なトレーニングサンプルサイズを持つ過度にパラメータ化された深部ReLUネットワークに対して、勾配勾配を使わずにゼロ損失最小化器を明示的に構築する。
  論文  参考訳（メタデータ） (2025-04-08T05:37:38Z)
• Learning Decision Trees as Amortized Structure Inference [59.65621207449269]
  本稿では,予測決定木アンサンブルを学習するためのハイブリッドアモータイズされた構造推論手法を提案する。 提案手法であるDT-GFNは,標準分類ベンチマークにおける最先端決定木やディープラーニング手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-10T07:05:07Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• Local Propagation in Constraint-based Neural Network [77.37829055999238]
  ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。 本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
  論文  参考訳（メタデータ） (2020-02-18T16:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。