論文の概要: A Closer Look at the Calibration of Differentially Private Learners

• arxiv url: http://arxiv.org/abs/2210.08248v1
• Date: Sat, 15 Oct 2022 10:16:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 20:12:39.476394
• Title: A Closer Look at the Calibration of Differentially Private Learners
• Title（参考訳）: 微分的個人学習者の校正について
• Authors: Hanlin Zhang, Xuechen Li, Prithviraj Sen, Salim Roukos, Tatsunori Hashimoto
• Abstract要約: 差分プライベート降下勾配(DP-SGD)を訓練した分類器の校正について検討する。 本分析では,DP-SGDの勾配クリッピングを誤校正の原因として同定した。 温度スケーリングやプラットスケーリングといった後処理キャリブレーション手法の個人差が驚くほど有効であることを示す。
• 参考スコア（独自算出の注目度）: 33.715727551832785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We systematically study the calibration of classifiers trained with differentially private stochastic gradient descent (DP-SGD) and observe miscalibration across a wide range of vision and language tasks. Our analysis identifies per-example gradient clipping in DP-SGD as a major cause of miscalibration, and we show that existing approaches for improving calibration with differential privacy only provide marginal improvements in calibration error while occasionally causing large degradations in accuracy. As a solution, we show that differentially private variants of post-processing calibration methods such as temperature scaling and Platt scaling are surprisingly effective and have negligible utility cost to the overall model. Across 7 tasks, temperature scaling and Platt scaling with DP-SGD result in an average 3.1-fold reduction in the in-domain expected calibration error and only incur at most a minor percent drop in accuracy.
• Abstract（参考訳）: 本研究では,DP-SGDを訓練した分類器の校正を体系的に検討し,幅広い視覚・言語タスクにおける誤校正を観察する。 本研究は,dp-sgdのサンプル毎勾配クリッピングを悪用の主な原因としており,従来の差分プライバシーによる校正手法は,校正誤差の限界的な改善しか与えず,時には精度が大幅に低下することも示している。 解法として,温度スケーリングやプラットスケーリングといった後処理キャリブレーション手法の個人差が驚くほど有効であり,全体モデルに対する実用コストが無視できることを示した。 7つのタスク、温度スケーリング、DP-SGDによるプラットスケーリングにより、ドメイン内予測キャリブレーション誤差が平均3.1倍減少し、精度は少なくともわずかに低下する。

関連論文リスト

• Feature Clipping for Uncertainty Calibration [24.465567005078135]
  現代のディープニューラルネットワーク(DNN)は、しばしば過剰な自信に悩まされ、誤校正につながる。 この問題に対処するために,特徴クリッピング(FC)と呼ばれるポストホックキャリブレーション手法を提案する。 FCは特定の閾値に特徴値をクリップし、高い校正誤差サンプルのエントロピーを効果的に増加させる。
  論文  参考訳（メタデータ） (2024-10-16T06:44:35Z)
• FedCal: Achieving Local and Global Calibration in Federated Learning via Aggregated Parameterized Scaler [29.93307421620845]
  フェデレートラーニング(FedCal)は、クライアント固有のスケーラをローカルおよびグローバルキャリブレーションに使用する。 実験では、FedCalが最高性能のベースラインを大幅に上回り、グローバルキャリブレーションエラーを平均47.66%削減した。
  論文  参考訳（メタデータ） (2024-05-24T11:33:58Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• PseudoCal: A Source-Free Approach to Unsupervised Uncertainty Calibration in Domain Adaptation [87.69789891809562]
  非教師なしドメイン適応(UDA)は、未ラベルのターゲットドメインのモデルの精度を向上する顕著な進歩を目撃している。 UDAモデルの安全な配置の重要な側面であるターゲット領域における予測不確実性の校正は、あまり注目されていない。 PseudoCalは、ラベルのないターゲットデータにのみ依存するソースフリーキャリブレーション手法である。
  論文  参考訳（メタデータ） (2023-07-14T17:21:41Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Soft Calibration Objectives for Neural Networks [40.03050811956859]
  そこで本研究では,一般的なキャリブレーションエラー推定器のソフト(連続)バージョンに基づくキャリブレーション改善のための差別化可能な損失を提案する。 トレーニングに組み込むと、これらのソフトキャリブレーション損失は、1%未満の精度で、複数のデータセットにまたがる最先端の単一モデルECEを実現する。
  論文  参考訳（メタデータ） (2021-07-30T23:30:20Z)
• Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
  我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。 最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。 当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:18:30Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。