論文の概要: Watch Your Head: Assembling Projection Heads to Save the Reliability of Federated Models

• arxiv url: http://arxiv.org/abs/2402.16255v1
• Date: Mon, 26 Feb 2024 02:37:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 14:42:51.193558
• Title: Watch Your Head: Assembling Projection Heads to Save the Reliability of Federated Models
• Title（参考訳）: プロジェクションヘッドを組み立てて、フェデレーションモデルの信頼性を確保する
• Authors: Jinqian Chen, Jihua Zhu, Qinghai Zheng, Zhongyu Li, Zhiqiang Tian
• Abstract要約: フェデレーション学習は異種データによる重大な課題に遭遇し、パフォーマンスの低下と収束の問題を引き起こす。 本研究では,汎用モデルとパーソナライズドフェデレーションモデルの両方の信頼性について,広範な実験を行った。 本稿では,連合型モデルの信頼性を高めるために,アセンブルプロジェクションヘッド (APH) 法を提案する。
• 参考スコア（独自算出の注目度）: 27.166672540207415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning encounters substantial challenges with heterogeneous data, leading to performance degradation and convergence issues. While considerable progress has been achieved in mitigating such an impact, the reliability aspect of federated models has been largely disregarded. In this study, we conduct extensive experiments to investigate the reliability of both generic and personalized federated models. Our exploration uncovers a significant finding: \textbf{federated models exhibit unreliability when faced with heterogeneous data}, demonstrating poor calibration on in-distribution test data and low uncertainty levels on out-of-distribution data. This unreliability is primarily attributed to the presence of biased projection heads, which introduce miscalibration into the federated models. Inspired by this observation, we propose the "Assembled Projection Heads" (APH) method for enhancing the reliability of federated models. By treating the existing projection head parameters as priors, APH randomly samples multiple initialized parameters of projection heads from the prior and further performs targeted fine-tuning on locally available data under varying learning rates. Such a head ensemble introduces parameter diversity into the deterministic model, eliminating the bias and producing reliable predictions via head averaging. We evaluate the effectiveness of the proposed APH method across three prominent federated benchmarks. Experimental results validate the efficacy of APH in model calibration and uncertainty estimation. Notably, APH can be seamlessly integrated into various federated approaches but only requires less than 30\% additional computation cost for 100$\times$ inferences within large models.
• Abstract（参考訳）: フェデレーション学習は異種データによる重大な課題に遭遇し、パフォーマンス劣化と収束の問題を引き起こす。 このような影響を緩和するためにかなりの進歩があったが、フェデレーションモデルの信頼性はほとんど無視されている。 本研究では,汎用モデルとパーソナライズドフェデレーションモデルの両方の信頼性について,広範な実験を行った。 異種データに直面すると信頼性が低下し、分布内テストデータや分布外データに対する不確実性レベルが低いことが判明した。 この信頼性の欠如は、主にバイアスドプロジェクションヘッドの存在によるものであり、フェデレートされたモデルに誤校正をもたらす。 そこで本研究では,連合モデルの信頼性向上を目的としたアセンブルプロジェクションヘッド(APH)手法を提案する。 既存のプロジェクションヘッドパラメータを先行パラメータとして扱うことにより、APHは予め複数の初期化パラメータをランダムにサンプリングし、さらに学習率の異なるローカルデータに対してターゲット微調整を行う。 このようなヘッドアンサンブルはパラメータの多様性を決定論的モデルに導入し、バイアスを排除し、ヘッド平均化によって信頼できる予測を生成する。 提案手法の有効性を3つの有意なフェデレートベンチマークで評価した。 モデル校正および不確実性推定におけるAPHの有効性を実験的に検証した。 特に、APHは様々なフェデレーションアプローチにシームレスに統合できるが、大きなモデルで100$\times$推論を行う場合、30\%以上の計算コストしか必要としない。

関連論文リスト

• Confidence Aware Learning for Reliable Face Anti-spoofing [52.23271636362843]
  本稿では,その能力境界を意識した信頼認識顔アンチスプーフィングモデルを提案する。 各サンプルの予測中にその信頼性を推定する。 実験の結果,提案したCA-FASは予測精度の低いサンプルを効果的に認識できることがわかった。
  論文  参考訳（メタデータ） (2024-11-02T14:29:02Z)
• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• Inference at the data's edge: Gaussian processes for modeling and inference under model-dependency, poor overlap, and extrapolation [0.0]
  ガウス過程 (GP) はフレキシブルな非線形回帰法である。 これは、予測された(非現実的な)値に対する不確実性を扱うための原則化されたアプローチを提供する。 これは外挿または弱い重なり合いの条件下では特に有用である。
  論文  参考訳（メタデータ） (2024-07-15T05:09:50Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Stabilizing and Improving Federated Learning with Non-IID Data and Client Dropout [15.569507252445144]
  ラベル分布スキューによるデータヘテロジェニーティは、フェデレート学習におけるモデル性能を制限する重要な障害であることが示されている。 クロスエントロピー損失を計算するための事前校正ソフトマックス関数を導入することで、シンプルで効果的なフレームワークを提案する。 非IIDデータとクライアントドロップアウトの存在下で、既存のベースラインよりも優れたモデル性能を示す。
  論文  参考訳（メタデータ） (2023-03-11T05:17:59Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
  本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。 提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
  論文  参考訳（メタデータ） (2022-03-09T01:55:59Z)
• Robust Bayesian Inference for Discrete Outcomes with the Total Variation Distance [5.139874302398955]
  離散的に評価された結果のモデルは、データがゼロインフレーション、過分散または汚染を示す場合、容易に誤特定される。 ここでは、Ttal Variation Distance (TVD) を用いた頑健な相違に基づくベイズ的アプローチを提案する。 我々は、我々のアプローチが堅牢で、シミュレーションおよび実世界のデータの範囲で予測性能を著しく改善していることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-26T09:53:06Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。