論文の概要: FedCal: Achieving Local and Global Calibration in Federated Learning via Aggregated Parameterized Scaler

• arxiv url: http://arxiv.org/abs/2405.15458v2
• Date: Tue, 4 Jun 2024 02:36:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 09:02:44.713144
• Title: FedCal: Achieving Local and Global Calibration in Federated Learning via Aggregated Parameterized Scaler
• Title（参考訳）: FedCal: 集約パラメータスケーラによるフェデレーション学習における局所的およびグローバルな校正の実現
• Authors: Hongyi Peng, Han Yu, Xiaoli Tang, Xiaoxiao Li,
• Abstract要約: フェデレートラーニング(FedCal)は、クライアント固有のスケーラをローカルおよびグローバルキャリブレーションに使用する。 実験では、FedCalが最高性能のベースラインを大幅に上回り、グローバルキャリブレーションエラーを平均47.66%削減した。
• 参考スコア（独自算出の注目度）: 29.93307421620845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) enables collaborative machine learning across distributed data owners, but data heterogeneity poses a challenge for model calibration. While prior work focused on improving accuracy for non-iid data, calibration remains under-explored. This study reveals existing FL aggregation approaches lead to sub-optimal calibration, and theoretical analysis shows despite constraining variance in clients' label distributions, global calibration error is still asymptotically lower bounded. To address this, we propose a novel Federated Calibration (FedCal) approach, emphasizing both local and global calibration. It leverages client-specific scalers for local calibration to effectively correct output misalignment without sacrificing prediction accuracy. These scalers are then aggregated via weight averaging to generate a global scaler, minimizing the global calibration error. Extensive experiments demonstrate FedCal significantly outperforms the best-performing baseline, reducing global calibration error by 47.66% on average.
• Abstract（参考訳）: フェデレートラーニング(FL)は、分散データオーナ間で協調的な機械学習を可能にするが、データの均一性はモデルのキャリブレーションに課題をもたらす。 以前の作業では、非IDデータの精度向上に重点を置いていたが、キャリブレーションは未探索のままである。 本研究は,既存のFLアグリゲーションアプローチが準最適キャリブレーションにつながることを明らかにし,クライアントのラベル分布に制約があるにもかかわらず,大域的キャリブレーション誤差は漸近的に低い境界値であることを示す。 そこで本研究では,局所校正とグローバル校正を両立するフェデレート校正(FedCal)手法を提案する。 クライアント固有のスケーラをローカルキャリブレーションに利用して、予測精度を犠牲にすることなく、出力ミスアライメントを効果的に補正する。 これらのスケーラを平均化して集約してグローバルスケーラを生成し、グローバルキャリブレーション誤差を最小化する。 大規模な実験により、FedCalは最高性能のベースラインを著しく上回り、グローバルキャリブレーションエラーを平均47.66%削減した。

関連論文リスト

• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• PseudoCal: A Source-Free Approach to Unsupervised Uncertainty Calibration in Domain Adaptation [87.69789891809562]
  非教師なしドメイン適応(UDA)は、未ラベルのターゲットドメインのモデルの精度を向上する顕著な進歩を目撃している。 UDAモデルの安全な配置の重要な側面であるターゲット領域における予測不確実性の校正は、あまり注目されていない。 PseudoCalは、ラベルのないターゲットデータにのみ依存するソースフリーキャリブレーション手法である。
  論文  参考訳（メタデータ） (2023-07-14T17:21:41Z)
• Adaptive Conformal Regression with Jackknife+ Rescaled Scores [7.176758110912026]
  コンフォーマル回帰は、グローバルなカバレッジ保証を伴う予測間隔を提供するが、しばしば局所的なエラー分布をキャプチャできない。 そこで本研究では,局所的なスコア分布を推定し,コンフォーマルスコアの再スケーリングに基づく新しい適応手法を用いてこの問題に対処する。 提案手法は, 公式なグローバルカバレッジ保証を保証し, キャリブレーションスコアのアフターリバウンドを含む, 局所カバレッジに関する新たな理論的結果によって支持される。
  論文  参考訳（メタデータ） (2023-05-31T14:32:26Z)
• A Closer Look at the Calibration of Differentially Private Learners [33.715727551832785]
  差分プライベート降下勾配(DP-SGD)を訓練した分類器の校正について検討する。 本分析では,DP-SGDの勾配クリッピングを誤校正の原因として同定した。 温度スケーリングやプラットスケーリングといった後処理キャリブレーション手法の個人差が驚くほど有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-15T10:16:18Z)
• Federated Learning with Label Distribution Skew via Logits Calibration [26.98248192651355]
  本稿では,FLにおけるラベル分布スキューについて検討する。 本稿では,各クラスの発生確率に応じて,ソフトマックスクロスエントロピー前のロジットを校正するFedLCを提案する。 フェデレーションデータセットと実世界のデータセットの実験は、FedLCがより正確なグローバルモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2022-09-01T02:56:39Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Combining Ensembles and Data Augmentation can Harm your Calibration [33.94335246681807]
  アンサンブルとデータ拡張を組み合わせることで、モデルのキャリブレーションを損なう可能性がある。 我々は,アンサンブルやデータ拡張のみを個別に使用することよりも,精度とキャリブレーションの利得を高い精度で達成し,両世界のベストを達成できる簡単な補正を提案する。
  論文  参考訳（メタデータ） (2020-10-19T21:25:22Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。