論文の概要: Federated Martingale Posterior Samping

• arxiv url: http://arxiv.org/abs/2605.18554v1
• Date: Mon, 18 May 2026 15:33:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.916166
• Title: Federated Martingale Posterior Samping
• Title（参考訳）: Federated Martingale Posterior Samping
• Authors: Boning Zhang, Matteo Zecchin, Mingzhao Guo, Dongzhu Liu, Osvaldo Simeone,
• Abstract要約: フェデレートされたベイズニューラルネットワークは、モデルパラメータの事前を、可能性とともに修正する必要がある。 予測モデルの急速な進歩により、マーチンゲール後部は予測ベイズ(英: predictive Bayes)とも呼ばれ、予測分布に置き換えられる。 このレターでは、フェデレーションマーチンゲール後部サンプリング(FMP)を提案する。これは、クライアントがトレーニング可能なデータの小さなセットをアップロードし、サーバが予測サンプルを集中的に実行する、ワンショットの恥ずかしい並列プロトコルである。
• 参考スコア（独自算出の注目度）: 28.76805404959501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Bayesian neural networks require fixing a prior on the model parameters together with a likelihood. Eliciting meaningful priors on the weight space of modern overparameterized models is notoriously difficult, and misspecification of either component can severely degrade accuracy and calibration. Motivated by the rapid progress of predictive models such as large language models, the martingale posterior, also known as predictive Bayes, replaces the prior--likelihood pair with a predictive distribution and recovers parameter uncertainty by repeatedly drawing predictive samples and refitting the model. A direct federated implementation, however, would require clients to share the local data sets. This letter proposes {federated martingale posterior} (FMP) sampling, a one-shot embarrassingly parallel protocol in which each client uploads a small set of trainable data embeddings and the server runs the predictive sampler centrally. Experiments on MNIST, CIFAR-10, and CIFAR-100 show that FMP closely matches the centralized counterpart and significantly improves calibration over consensus-style baselines.
• Abstract（参考訳）: フェデレートされたベイズニューラルネットワークは、モデルパラメータの事前を、可能性とともに修正する必要がある。 現代の過パラメータ化モデルの重量空間に関する有意義な先入観を排除することは、非常に難しいことで知られており、どちらのコンポーネントの誤特定も精度とキャリブレーションを著しく低下させる可能性がある。 大規模言語モデルなどの予測モデルの急速な進展により、マーチンゲール後部は予測ベイズとしても知られ、予測分布に置き換え、予測サンプルを繰り返し描画してパラメータの不確かさを回復し、モデルを再適合させる。 しかし、直接フェデレートされた実装では、クライアントはローカルデータセットを共有する必要がある。 これは、クライアントがトレーニング可能なデータの小さなセットをアップロードし、サーバが予測サンプルを中央に実行する、ワンショットの恥ずかしい並列プロトコルである。 MNIST、CIFAR-10、CIFAR-100の実験では、FMPは中央集権と密接に一致し、コンセンサススタイルの基準線に対する校正を著しく改善している。

関連論文リスト

• Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training [11.179110411255708]
  トレーニング予算からベンチマークパフォーマンスのスケーリングをモデル化するための直接的なフレームワークを提案する。 その結果, 直接的アプローチは従来提案していた2段階の手順よりも優れていることがわかった。 事前学習損失と下流評価結果の完全なセットを公表する。
  論文  参考訳（メタデータ） (2025-12-09T18:33:48Z)
• Posterior Uncertainty Quantification in Neural Networks using Data Augmentation [3.9860047080844807]
  深層アンサンブルは,既存の観測結果にのみ,将来のデータがサポートされることを前提として,基本的に不特定モデルクラスであることを示す。 一般的なデータ拡張手法を用いて,より現実的な予測分布を構築する手法であるMixupMPを提案する。 実験により,MixupMPは様々な画像分類データセットにおいて,優れた予測性能と不確かさの定量化を実現することが示された。
  論文  参考訳（メタデータ） (2024-03-18T17:46:07Z)
• Calibrated One Round Federated Learning with Bayesian Inference in the Predictive Space [27.259110269667826]
  フェデレートラーニング(FL)では、クライアント間で分散されたデータセット上でモデルをトレーニングする。 小さくてノイズの多いデータセットは一般的であり、よく校正されたモデルの必要性を強調している。 予測後部の混合と積を補間するベイズFLアルゴリズムである$beta$-Predictive Bayesを提案する。
  論文  参考訳（メタデータ） (2023-12-15T14:17:16Z)
• Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
  最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。 予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。 本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-06T00:56:24Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [56.48290708901531]
  本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。 ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。 本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
  論文  参考訳（メタデータ） (2023-01-29T11:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。