論文の概要: Personalized Federated Learning via Variance-Aware Nonparametric Empirical Bayes

• arxiv url: http://arxiv.org/abs/2608.09074v1
• Date: Mon, 10 Aug 2026 03:23:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.066025
• Title: Personalized Federated Learning via Variance-Aware Nonparametric Empirical Bayes
• Title（参考訳）: 可変非パラメトリック経験ベイによる個人化フェデレーション学習
• Abstract要約: 非パラメトリック経験ベイズ(NPEB)を用いた異種クライアント間のパーソナライズドラーニングのための新しいアプローチを開発する。 本稿では,局所的なM-推定器のパラメータ依存性能推定を利用する可変非パラメトリック経験ベイズ(VANEB)フレームワークを提案する。 我々の理論的保証は、M推定器の体制に根ざしているが、我々は、Deep Neural Networks (DNNs)を含む現代の連邦学習環境へのVANEBの拡張を実証的に検討している。
• 参考スコア（独自算出の注目度）: 3.8169847142355695
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We develop a new approach to Personalized Federated Learning across heterogeneous clients using Nonparametric Empirical Bayes (NPEB). Leveraging the asymptotic normality of local parameter estimates obtained from Empirical Risk Minimization or M-estimation, our method formulates these estimates as noisy observations to estimate an unknown shared prior via Nonparametric Maximum Likelihood. A key challenge in applying NPEB in this setting is that existing approaches assume known fixed variances, which is not true in practice. To address this, we introduce a Variance-Aware Nonparametric Empirical Bayes (VANEB) framework that leverages the parameter-dependent asymptotic variance of local M-estimators. A key technical contribution is a generalized Tweedie's formula for this heteroskedastic setting. We then establish non-asymptotic error rates for density estimation in the average squared Hellinger distance and derive an oracle denoising inequality that provides error bounds for our estimator. While our theoretical guarantees are rooted in the asymptotic regime of M-estimators, we empirically explore heuristic extensions of VANEB to modern federated learning settings involving Deep Neural Networks (DNNs). For DNNs, we propose VANEB-head and VANEB-FT, which personalize the last fully connected layer via an NPEB step using an approximate diagonal variance estimator. We show that our method has strong performance on popular vision datasets MNIST and CIFAR-10, using a convolutional neural network architecture.
• Abstract（参考訳）: 非パラメトリック経験ベイズ(NPEB)を用いた異種クライアントを対象とした個人化フェデレーション学習の新しい手法を開発した。 実験的リスク最小化法やM推定法から得られた局所パラメータ推定の漸近正規性を利用して,これらの推定値をノイズ観測として定式化し,非パラメトリック最大解法を用いて未知の共有前の推定を行う。 この設定でNPEBを適用する際の重要な課題は、既存のアプローチが既知の固定分散を仮定することであり、実際はそうではない。 これを解決するために,パラメータ依存型局所的M-推定器の漸近分散を利用したVANEB(Variance-Aware Nonparametric Empirical Bayes)フレームワークを提案する。 重要な技術的貢献は、このヘテロスケダティックな設定に対する一般化されたツイーディの公式である。 次に,平均二乗ヘルリンガー距離における密度推定のための非漸近誤差率を確立し,推定器に誤差境界を与える不等式を導出する。 我々の理論的な保証は、M推定器の漸近的な体制に根ざしているが、我々は、DNN(Deep Neural Networks)を含む現代の連邦学習環境へのVANEBのヒューリスティックな拡張を経験的に探求している。 DNNに対して、近似対角分散推定器を用いて、NPEBステップを介して最後の完全連結層をパーソナライズするVANEB-headとVANEB-FTを提案する。 本手法は,畳み込みニューラルネットワークアーキテクチャを用いて,一般的な視覚データセットMNISTとCIFAR-10に対して高い性能を示すことを示す。

関連論文リスト

• Generalized Neural Distributional Regression [0.0]
  本稿では,従来の確率分布の空間にディープニューラルネットワークをシームレスに組み込むGNDR(Generalized Neural Distributional Regression)フレームワークを紹介する。 本フレームワークの汎用性と多彩な分布のキャリブレーションを,多彩な臨床数,治療対象の右エド転写産物の生存プロファイル,非構造化顔画像からの年齢分布などの多彩な範囲で示す。
  論文  参考訳（メタデータ） (2026-06-16T19:01:57Z)
• Beyond Consistency: Inference for the Relative risk functional in Deep Nonparametric Cox Models [7.2275111013288535]
  Coxをベースとした最適化誤差が、部分的可能性の下で集団リスクにどのように伝播するかは明らかでない。 また、ポイントワイドバイアスがどのように制御できるのか、またアンサンブルに基づく不確実性が現実的な分散体制の下でどのように振る舞うのかも不明である。 これらの問題に対処するディープコックス推定器の分布理論を開発する。
  論文  参考訳（メタデータ） (2026-03-25T01:43:12Z)
• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• Improving Minimax Estimation Rates for Contaminated Mixture of Multinomial Logistic Experts via Expert Heterogeneity [49.809923981964715]
  凍結したエキスパートとして機能する事前訓練されたモデルを、新しいタスクを学ぶためにトレーニング可能なエキスパートとして機能するアダプタモデルに統合するトランスファー学習手法によって、汚染された専門家の混合(MoE)が動機付けられる。 本研究は, 地絡パラメータがサンプルサイズによって異なる困難な条件下で, パラメータを推定するための一様収束率を特徴付ける。 また、対応するミニマックス下限を定め、これらのレートがミニマックス最適であることを保証する。
  論文  参考訳（メタデータ） (2026-01-31T23:45:50Z)
• Inference for Deep Neural Network Estimators in Generalized Nonparametric Models [8.122998173805266]
  分類的または指数関数的な家族結果に対するディープニューラルネットワーク(DNN)の推論は、まだ過小評価されていない。 一般化された非パラメトリック回帰モデル(GNRM)に基づくDNN推定器を提案し、厳密な推論フレームワークを開発する。 さらにこの手法を電子集中治療ユニット(eICU)データセットに適用し,ICUの寛容リスクを予測し,臨床的意思決定に患者中心の洞察を与える。
  論文  参考訳（メタデータ） (2025-04-12T21:32:42Z)
• Leveraging Nested MLMC for Sequential Neural Posterior Estimation with Intractable Likelihoods [0.38233569758620045]
  ニューラルネットワークに基づく条件密度推定器を用いて適応的に提案されたシミュレーションから後部を学習することを目的とする。 Greenbergらによって提案された自動後部変換(APT)法は,高レベルのランタイムデータに対して良好に動作し,スケールする。 本稿では,APTをネスト推定問題として再検討する。 損失関数とその勾配に対するマルチモンテカルロ (MLMC) 推定器を構築し, 異なるシナリオに対応する。
  論文  参考訳（メタデータ） (2024-01-30T06:29:41Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization [69.07420650261649]
  我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。 実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。 FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
  論文  参考訳（メタデータ） (2021-07-02T15:20:41Z)
• Non-Asymptotic Performance Guarantees for Neural Estimation of $\mathsf{f}$-Divergences [22.496696555768846]
  統計的距離は確率分布の相似性を定量化する。 このようなデータからの距離を推定する現代的な方法は、ニューラルネットワーク(NN)による変動形態のパラメータ化と最適化に依存する。 本稿では,このトレードオフを非漸近誤差境界を用いて検討し,SDの3つの一般的な選択に焦点をあてる。
  論文  参考訳（メタデータ） (2021-03-11T19:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。