論文の概要: Beyond Probability Partitions: Calibrating Neural Networks with Semantic Aware Grouping

• arxiv url: http://arxiv.org/abs/2306.04985v1
• Date: Thu, 8 Jun 2023 07:16:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 15:54:32.727630
• Title: Beyond Probability Partitions: Calibrating Neural Networks with Semantic Aware Grouping
• Title（参考訳）: 確率分割を超えて - セマンティックアウェアグループによるニューラルネットワークの校正
• Authors: Jia-Qi Yang, De-Chuan Zhan, Le Gan
• Abstract要約: 研究によると、ディープネットワークは予測に対して過度に楽観的であり、予測エラーを過小評価する傾向がある。 分割誤差 (Partitioned Error, PCE) という,より一般化された校正誤差の定義を提案する。 モデル精度とキャリブレーションの関係は分割関数の粒度に関係していることを示す。
• 参考スコア（独自算出の注目度）: 32.4721401325659
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Research has shown that deep networks tend to be overly optimistic about their predictions, leading to an underestimation of prediction errors. Due to the limited nature of data, existing studies have proposed various methods based on model prediction probabilities to bin the data and evaluate calibration error. We propose a more generalized definition of calibration error called Partitioned Calibration Error (PCE), revealing that the key difference among these calibration error metrics lies in how the data space is partitioned. We put forth an intuitive proposition that an accurate model should be calibrated across any partition, suggesting that the input space partitioning can extend beyond just the partitioning of prediction probabilities, and include partitions directly related to the input. Through semantic-related partitioning functions, we demonstrate that the relationship between model accuracy and calibration lies in the granularity of the partitioning function. This highlights the importance of partitioning criteria for training a calibrated and accurate model. To validate the aforementioned analysis, we propose a method that involves jointly learning a semantic aware grouping function based on deep model features and logits to partition the data space into subsets. Subsequently, a separate calibration function is learned for each subset. Experimental results demonstrate that our approach achieves significant performance improvements across multiple datasets and network architectures, thus highlighting the importance of the partitioning function for calibration.
• Abstract（参考訳）: 研究によると、ディープネットワークは予測に対して過度に楽観的であり、予測エラーを過小評価する傾向がある。 データの性質が限られているため、既存の研究ではデータのビン化とキャリブレーションエラーの評価のためにモデル予測確率に基づく様々な方法を提案している。 本研究では,分割校正誤差(partitioned calibration error, pce)と呼ばれる,より一般化した校正誤差の定義を提案する。 入力空間分割は、単に予測確率のパーティショニングを超えて拡張でき、入力に直接関連するパーティショニングを含めることができることを示唆する。 セマンティックな分割関数を通して、モデルの精度とキャリブレーションの関係が分割関数の粒度にあることを示す。 これは、校正された正確なモデルをトレーニングするための分割基準の重要性を強調します。 上記の分析を検証するために,深層モデル特徴量に基づく意味認識グループ化関数と,データ空間をサブセットに分割するロジットを共同で学習する手法を提案する。 その後、サブセット毎に個別の校正関数が学習される。 実験の結果,複数のデータセットとネットワークアーキテクチャで性能が大幅に向上し,キャリブレーションにおけるパーティショニング機能の重要性が浮き彫りになった。

関連論文リスト

• Split Conformal Prediction under Data Contamination [14.23965125128232]
  データ汚染環境における分割共形予測の堅牢性について検討する。 構築した集合のカバレッジと効率に及ぼす劣化したデータの影響を定量化する。 本稿では,汚染ロバスト・コンフォーマル予測(Contamination Robust Conformal Prediction)と呼ぶ分類設定の調整を提案する。
  論文  参考訳（メタデータ） (2024-07-10T14:33:28Z)
• Domain-adaptive and Subgroup-specific Cascaded Temperature Regression for Out-of-distribution Calibration [16.930766717110053]
  本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。 予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。 回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
  論文  参考訳（メタデータ） (2024-02-14T14:35:57Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Variable-Based Calibration for Machine Learning Classifiers [11.9995808096481]
  モデルのキャリブレーション特性を特徴付けるために,変数ベースのキャリブレーションの概念を導入する。 ほぼ完全なキャリブレーション誤差を持つモデルでは,データの特徴の関数としてかなりの誤校正が期待できることがわかった。
  論文  参考訳（メタデータ） (2022-09-30T00:49:31Z)
• Parametric and Multivariate Uncertainty Calibration for Regression and Object Detection [4.630093015127541]
  一般的な検出モデルでは,観測誤差と比較して空間的不確かさが過大評価されている。 実験の結果, 簡便な等速回帰補正法は, 良好な校正不確実性を実現するのに十分であることがわかった。 対照的に、後続のプロセスに正規分布が必要な場合、GP-Normal再校正法が最良の結果をもたらす。
  論文  参考訳（メタデータ） (2022-07-04T08:00:20Z)
• Graph Embedding with Data Uncertainty [113.39838145450007]
  スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。 ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
  論文  参考訳（メタデータ） (2020-09-01T15:08:23Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。