論文の概要: Improving Classifier Confidence using Lossy Label-Invariant Transformations

• arxiv url: http://arxiv.org/abs/2011.04182v1
• Date: Mon, 9 Nov 2020 04:33:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 01:34:54.459668
• Title: Improving Classifier Confidence using Lossy Label-Invariant Transformations
• Title（参考訳）: Lossy Label-Invariant Transformations を用いた分類信頼度の向上
• Authors: Sooyong Jang, Insup Lee, James Weimer
• Abstract要約: 多様体ベースの信頼度校正技術は一般に、大きな入力空間を持つモデルに適用した場合、スケールや高価なリトレーニングを必要としない。 本稿では,ReCalが複数のデータセット,特にImageNetのような大規模データセットにおいて,他のキャリブレーション手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 7.4769019455423855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Providing reliable model uncertainty estimates is imperative to enabling robust decision making by autonomous agents and humans alike. While recently there have been significant advances in confidence calibration for trained models, examples with poor calibration persist in most calibrated models. Consequently, multiple techniques have been proposed that leverage label-invariant transformations of the input (i.e., an input manifold) to improve worst-case confidence calibration. However, manifold-based confidence calibration techniques generally do not scale and/or require expensive retraining when applied to models with large input spaces (e.g., ImageNet). In this paper, we present the recursive lossy label-invariant calibration (ReCal) technique that leverages label-invariant transformations of the input that induce a loss of discriminatory information to recursively group (and calibrate) inputs - without requiring model retraining. We show that ReCal outperforms other calibration methods on multiple datasets, especially, on large-scale datasets such as ImageNet.
• Abstract（参考訳）: 信頼できるモデル不確実性推定を提供することは、自律エージェントや人間による堅牢な意思決定を可能にする上で不可欠である。 近年、訓練モデルの信頼性校正は大幅に進歩しているが、ほとんどの校正モデルでは校正が不十分な例が続いている。 その結果、入力のラベル不変変換(例えば入力多様体)を利用して最悪のケースの信頼性校正を改善する複数の手法が提案されている。 しかし、多様体ベースの信頼度校正技術は一般に、大きな入力空間(例:imagenet)を持つモデルに適用する場合、スケールしたり、高価な再訓練が必要となる。 本稿では、モデル再訓練を必要とせず、再帰的にグループ化(および校正)するために識別情報の損失を誘導する入力のラベル不変変換を利用する再帰的損失ラベル不変キャリブレーション(ReCal)手法を提案する。 ReCalは複数のデータセット、特にImageNetのような大規模データセットにおいて、他のキャリブレーション手法よりも優れていることを示す。

関連論文リスト

• Consistency Calibration: Improving Uncertainty Calibration via Consistency among Perturbed Neighbors [22.39558434131574]
  モデルキャリブレーションの代替視点として一貫性の概念を導入する。 本稿では,入力間の一貫性に基づいて信頼度を調整する,一貫性(CC)と呼ばれるポストホックキャリブレーション手法を提案する。 また,ロジットレベルでの摂動は計算効率を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2024-10-16T06:55:02Z)
• Feature Clipping for Uncertainty Calibration [24.465567005078135]
  現代のディープニューラルネットワーク(DNN)は、しばしば過剰な自信に悩まされ、誤校正につながる。 この問題に対処するために,特徴クリッピング(FC)と呼ばれるポストホックキャリブレーション手法を提案する。 FCは特定の閾値に特徴値をクリップし、高い校正誤差サンプルのエントロピーを効果的に増加させる。
  論文  参考訳（メタデータ） (2024-10-16T06:44:35Z)
• Optimizing Estimators of Squared Calibration Errors in Classification [2.3020018305241337]
  本稿では,2乗キャリブレーション誤差の推定器の比較と最適化を可能にする平均二乗誤差に基づくリスクを提案する。 キャリブレーション誤差を推定する際のトレーニングバリデーションテストパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-09T15:58:06Z)
• Improving Predictor Reliability with Selective Recalibration [15.319277333431318]
  リカレーションは、事前訓練されたモデルで信頼性の高い信頼度を推定する最も効果的な方法の1つである。 そこで我々は,選択モデルがユーザの選択比率を下げることを学ぶテキスト選択的リカレーションを提案する。 以上の結果から,選択的再校正は幅広い選択基準と再校正基準よりも,キャリブレーション誤差が著しく低いことが示唆された。
  論文  参考訳（メタデータ） (2024-10-07T18:17:31Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Sharp Calibrated Gaussian Processes [58.94710279601622]
  キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。 本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。 我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-23T12:17:36Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
  予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。 正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T11:04:14Z)
• Transferable Calibration with Lower Bias and Variance in Domain Adaptation [139.4332115349543]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの学習マシンの転送を可能にする。 DAモデルの予測的不確実性を推定する方法は、安全クリティカルなシナリオにおける意思決定に不可欠である。 TransCalは既存のDAメソッドの校正に簡単に適用できる。
  論文  参考訳（メタデータ） (2020-07-16T11:09:36Z)
• Calibrating Structured Output Predictors for Natural Language Processing [8.361023354729731]
  本稿では,ニューラルネットワークに基づく構造化予測モデルに注目する出力要素の一般的なキャリブレーション手法を提案する。 提案手法は,任意のバイナリクラスキャリブレーションスキームとニューラルネットワークモデルを用いて適用することができる。 提案手法は, 話者認識, パート・オブ・音声, 質問応答における現在のキャリブレーション手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-09T04:14:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。