論文の概要: Just rotate it! Uncertainty estimation in closed-source models via multiple queries

• arxiv url: http://arxiv.org/abs/2405.13864v1
• Date: Wed, 22 May 2024 17:45:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 21:02:51.461652
• Title: Just rotate it! Uncertainty estimation in closed-source models via multiple queries
• Title（参考訳）: 回転させる! 複数クエリによるクローズドソースモデルの不確かさ推定
• Authors: Konstantinos Pitas, Julyan Arbel,
• Abstract要約: 本稿では,クローズドソースディープニューラルネットワーク画像分類モデルの不確かさを簡易かつ効果的に推定する手法を提案する。 我々は,不確実性推定の校正において,すべての予測に対して100%の信頼を割り当てることの単純さに比べて,大幅な改善を示す。
• 参考スコア（独自算出の注目度）: 3.8121150313479655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a simple and effective method to estimate the uncertainty of closed-source deep neural network image classification models. Given a base image, our method creates multiple transformed versions and uses them to query the top-1 prediction of the closed-source model. We demonstrate significant improvements in the calibration of uncertainty estimates compared to the naive baseline of assigning 100\% confidence to all predictions. While we initially explore Gaussian perturbations, our empirical findings indicate that natural transformations, such as rotations and elastic deformations, yield even better-calibrated predictions. Furthermore, through empirical results and a straightforward theoretical analysis, we elucidate the reasons behind the superior performance of natural transformations over Gaussian noise. Leveraging these insights, we propose a transfer learning approach that further improves our calibration results.
• Abstract（参考訳）: 本稿では,クローズドソースディープニューラルネットワーク画像分類モデルの不確かさを簡易かつ効果的に推定する手法を提案する。 ベース画像が与えられた場合,提案手法は複数の変換されたバージョンを生成し,クローズドソースモデルのトップ1の予測をクエリする。 我々は,不確実性推定の校正において,すべての予測に対して100倍の信頼を割り当てる素案ベースラインと比較して,大幅な改善を示す。 最初はガウス摂動を探索するが、我々の経験から、回転や弾性変形などの自然な変換により、より良く校正された予測が得られることが示唆された。 さらに、経験的結果と直接的な理論的解析により、ガウス雑音に対する自然変換の優れた性能の背景にある理由を解明する。 これらの知見を生かして、校正結果をさらに改善するトランスファーラーニング手法を提案する。

関連論文リスト

• Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
  最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。 予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。 本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-06T00:56:24Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Sharp Calibrated Gaussian Processes [58.94710279601622]
  キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。 本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。 我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-23T12:17:36Z)
• Quantifying Model Predictive Uncertainty with Perturbation Theory [21.591460685054546]
  本稿では,ニューラルネットワークの予測不確実性定量化のためのフレームワークを提案する。 量子物理学の摂動理論を用いてモーメント分解問題を定式化する。 我々の手法は、より高精度でキャリブレーションの高い高速なモデル予測不確実性推定を提供する。
  論文  参考訳（メタデータ） (2021-09-22T17:55:09Z)
• Quantifying Predictive Uncertainty in Medical Image Analysis with Deep Kernel Learning [14.03923026690186]
  本研究では,予測の不確かさを推定できる不確実性を考慮した深層カーネル学習モデルを提案する。 ほとんどの場合、提案したモデルは一般的なアーキテクチャよりも優れた性能を示している。 私たちのモデルは、挑戦的で議論の余地のあるテストサンプルを検出するためにも使用できます。
  論文  参考訳（メタデータ） (2021-06-01T17:09:47Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Variational Variance: Simple, Reliable, Calibrated Heteroscedastic Noise Variance Parameterization [3.553493344868413]
  本稿では,予測平均と分散キャリブレーションを検証し,予測分布が有意義なデータを生成する能力を評価するための批評を提案する。 ヘテロセダスティックな分散を多変量に処理するためには、これらのPPCを通過させるために分散を十分に規則化する必要がある。
  論文  参考訳（メタデータ） (2020-06-08T19:58:35Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。