論文の概要: A Benchmark Study on Calibration
- arxiv url: http://arxiv.org/abs/2308.11838v3
- Date: Wed, 11 Oct 2023 00:15:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 04:29:26.353235
- Title: A Benchmark Study on Calibration
- Title（参考訳）: 校正に関するベンチマーク研究
- Authors: Linwei Tao, Younan Zhu, Haolan Guo, Minjing Dong, Chang Xu
- Abstract要約: このデータセットは、117,702のユニークなニューラルネットワークにわたる90ビンベースと12の追加キャリブレーション測定を評価する。
本研究は, キャリブレーション特性の大規模調査およびNAS内部のキャリブレーション問題に関する主要な研究である。
- 参考スコア（独自算出の注目度）: 22.39558434131574
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks are increasingly utilized in various machine learning
tasks. However, as these models grow in complexity, they often face calibration
issues, despite enhanced prediction accuracy. Many studies have endeavored to
improve calibration performance through the use of specific loss functions,
data preprocessing and training frameworks. Yet, investigations into
calibration properties have been somewhat overlooked. Our study leverages the
Neural Architecture Search (NAS) search space, offering an exhaustive model
architecture space for thorough calibration properties exploration. We
specifically create a model calibration dataset. This dataset evaluates 90
bin-based and 12 additional calibration measurements across 117,702 unique
neural networks within the widely employed NATS-Bench search space. Our
analysis aims to answer several longstanding questions in the field, using our
proposed dataset: (i) Can model calibration be generalized across different
datasets? (ii) Can robustness be used as a calibration measurement? (iii) How
reliable are calibration metrics? (iv) Does a post-hoc calibration method
affect all models uniformly? (v) How does calibration interact with accuracy?
(vi) What is the impact of bin size on calibration measurement? (vii) Which
architectural designs are beneficial for calibration? Additionally, our study
bridges an existing gap by exploring calibration within NAS. By providing this
dataset, we enable further research into NAS calibration. As far as we are
aware, our research represents the first large-scale investigation into
calibration properties and the premier study of calibration issues within NAS.
- Abstract（参考訳）: ディープニューラルネットワークは、さまざまな機械学習タスクでますます活用されている。
しかし、これらのモデルが複雑化するにつれて、予測精度が向上したにもかかわらず、しばしばキャリブレーションの問題に直面する。
多くの研究が、特定の損失関数、データ前処理、トレーニングフレームワークの使用によるキャリブレーション性能の向上に尽力している。
しかし、キャリブレーション特性に関する調査は見過ごされている。
本研究では,ニューラルアーキテクチャ探索(NAS)探索空間を活用し,徹底的なキャリブレーション特性探索のための網羅的なモデルアーキテクチャ空間を提供する。
具体的には、モデルキャリブレーションデータセットを作成します。
このデータセットは、広く使われているNATS-Bench検索空間内の117,702のユニークなニューラルネットワークに対して、90のビンベースと12のキャリブレーション測定値を評価する。
我々の分析は,提案したデータセットを用いて,この分野における長年の疑問に答えることを目的としている。
i) モデルキャリブレーションは、異なるデータセット間で一般化できるか?
(ii)ロバスト性は校正測定に使用できるか?
三)キャリブレーション指標はどの程度信頼できるか。
(iv)ポストホック校正法は全てのモデルに一様に影響するか?
(v)校正は精度とどのように相互作用するか。
(vi)キャリブレーション測定におけるビンサイズの影響について
(vii)どの建築設計が校正に有用か。
さらに,NAS内のキャリブレーションを探索することで,既存のギャップを埋める。
このデータセットを提供することで、NAS校正のさらなる研究が可能になる。
私たちが知る限り、我々の研究は校正特性に関する最初の大規模調査であり、NASにおける校正問題に関する主要な研究である。
関連論文リスト
- Deep Ensemble Shape Calibration: Multi-Field Post-hoc Calibration in Online Advertising [8.441925127670308]
eコマース広告のシナリオでは、Click-Through Rate(CTR)とConversion Rate(CVR)に基づいて真の確率(キャリブレーションされた見積)を推定することが重要である。
従来の研究では、キャリブレーション問題に対処するためのソリューションが数多く導入されている。
本稿では,関数表現機能とデータ利用機能の両方を強化する革新的な基底キャリブレーション機能を提案する。
論文 参考訳（メタデータ） (2024-01-17T11:41:11Z) - On Calibration of Modern Quantized Efficient Neural Networks [79.06893963657335]
キャリブレーションの質は、量子化の質を追跡するために観察される。
GhostNet-VGGは、低い精度で全体的なパフォーマンス低下に対して最も堅牢であることが示されている。
論文 参考訳（メタデータ） (2023-09-25T04:30:18Z) - Calibration in Deep Learning: A Survey of the State-of-the-Art [7.6087138685470945]
ディープニューラルネットワークのキャリブレーションは、安全クリティカルなアプリケーションにおいて、信頼性が高く堅牢なAIシステムを構築する上で重要な役割を果たす。
近年の研究では、予測能力の高い現代のニューラルネットワークは、キャリブレーションが不十分であり、信頼性の低いモデル予測を生成することが示されている。
論文 参考訳（メタデータ） (2023-08-02T15:28:10Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳（メタデータ） (2023-03-25T08:56:21Z) - Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。
我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。
実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文 参考訳（メタデータ） (2023-03-19T20:27:51Z) - The Calibration Generalization Gap [15.583540869583484]
現代のニューラルネットワークはキャリブレーションに強い保証を与えない。
現在、どの要因が良好な校正に寄与するかは定かではない。
校正誤差を研究するための体系的な手法を提案する。
論文 参考訳（メタデータ） (2022-10-05T00:04:56Z) - Meta-Calibration: Learning of Model Calibration Using Differentiable
Expected Calibration Error [46.12703434199988]
我々は、キャリブレーション品質を直接最適化できる、期待キャリブレーション誤差(DECE)のための新しい微分可能なサロゲートを導入する。
また、DECEを用いて検証セットの校正を最適化するメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-17T15:47:50Z) - On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。
正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。
ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
論文 参考訳（メタデータ） (2021-06-17T11:04:14Z) - Knowing More About Questions Can Help: Improving Calibration in Question
Answering [19.869498599986006]
質問応答のキャリブレーションについて検討し、各質問に対する解答が正しく予測されるかどうかを推定する。
モデルの信頼性スコアに大きく依存する以前の作業とは異なり、キャリブレータには入力例に関する情報が組み込まれています。
我々のシンプルで効率的なキャリブレータは、多くのタスクやモデルアーキテクチャに容易に適応でき、全ての設定で堅牢なゲインを示す。
論文 参考訳（メタデータ） (2021-06-02T22:22:52Z) - Uncertainty Quantification and Deep Ensembles [79.4957965474334]
ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。
そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。
このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
論文 参考訳（メタデータ） (2020-07-17T07:32:24Z) - Intra Order-preserving Functions for Calibration of Multi-Class Neural
Networks [54.23874144090228]
一般的なアプローチは、元のネットワークの出力をキャリブレーションされた信頼スコアに変換する、ポストホックキャリブレーション関数を学ぶことである。
以前のポストホックキャリブレーション技術は単純なキャリブレーション機能でしか機能しない。
本稿では,順序保存関数のクラスを表すニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-15T12:57:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。