論文の概要: On Calibration of Modern Quantized Efficient Neural Networks

• arxiv url: http://arxiv.org/abs/2309.13866v2
• Date: Tue, 26 Sep 2023 05:33:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 10:30:40.122867
• Title: On Calibration of Modern Quantized Efficient Neural Networks
• Title（参考訳）: 現代量子化高効率ニューラルネットワークの校正について
• Authors: Joey Kuang, Alexander Wong
• Abstract要約: キャリブレーションの質は、量子化の質を追跡するために観察される。 GhostNet-VGGは、低い精度で全体的なパフォーマンス低下に対して最も堅牢であることが示されている。
• 参考スコア（独自算出の注目度）: 79.06893963657335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We explore calibration properties at various precisions for three architectures: ShuffleNetv2, GhostNet-VGG, and MobileOne; and two datasets: CIFAR-100 and PathMNIST. The quality of calibration is observed to track the quantization quality; it is well-documented that performance worsens with lower precision, and we observe a similar correlation with poorer calibration. This becomes especially egregious at 4-bit activation regime. GhostNet-VGG is shown to be the most robust to overall performance drop at lower precision. We find that temperature scaling can improve calibration error for quantized networks, with some caveats. We hope that these preliminary insights can lead to more opportunities for explainable and reliable EdgeML.
• Abstract（参考訳）: 本稿では,ShuffleNetv2,GhostNet-VGG,MobileOneの3つのアーキテクチャと,CIFAR-100とPathMNISTの2つのデータセットのキャリブレーション特性について検討する。 キャリブレーションの質は, 量子化品質を追跡するために観測され, 精度が低いほど性能が悪化し, より低いキャリブレーションと類似した相関が観察された。 これは4ビットのアクティベーションでは特に顕著である。 GhostNet-VGGは、低い精度で全体的なパフォーマンス低下に対して最も堅牢であることが示されている。 温度スケーリングは量子化ネットワークのキャリブレーションエラーを改善できるが、いくつかの注意点がある。 これらの予備的な洞察が、より説明可能で信頼性の高いEdgeMLの機会に繋がることを期待しています。

関連論文リスト

• GETS: Ensemble Temperature Scaling for Calibration in Graph Neural Networks [8.505932176266368]
  グラフニューラルネットワークは強力な分類結果を提供するが、しばしばキャリブレーション性能の低下に悩まされ、自信過剰や自信不足につながる。 温度スケーリングのような既存のポストホック法はグラフ構造を効果的に利用できないが、現在のGNNキャリブレーション法は様々な入力情報とモデルアンサンブルを併用する可能性をしばしば見落としている。 本稿では,10GNNベンチマークデータセットに対して予測キャリブレーション誤差を25%低減し,入力とモデルのアンサンブル戦略を組み合わせた新しいキャリブレーションフレームワークであるGraph Ensemble TemperatureScalingを提案する。
  論文  参考訳（メタデータ） (2024-10-12T15:34:41Z)
• Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
  本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。 我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。 その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-11-06T22:13:10Z)
• Towards Unbiased Calibration using Meta-Regularization [6.440598446802981]
  2つのコンポーネントを持つメタ正則化により、より良い校正モデルを学ぶことを提案する。 ニューラルネットワークを3つのコンピュータビジョンデータセット上で改善し、偏りのないキャリブレーションに正規化するための提案手法の有効性を評価する。
  論文  参考訳（メタデータ） (2023-03-27T10:00:50Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Meta-Calibration: Learning of Model Calibration Using Differentiable Expected Calibration Error [46.12703434199988]
  我々は、キャリブレーション品質を直接最適化できる、期待キャリブレーション誤差(DECE)のための新しい微分可能なサロゲートを導入する。 また、DECEを用いて検証セットの校正を最適化するメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-17T15:47:50Z)
• On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
  予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。 正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T11:04:14Z)
• On Calibration of Mixup Training for Deep Neural Networks [1.6242924916178283]
  我々は、Mixupが必ずしも校正を改善していないという実証的な証拠を論じ、提示する。 我々の損失はベイズ決定理論にインスパイアされ、確率的モデリングの損失を設計するための新しいトレーニングフレームワークが導入された。 キャリブレーション性能を一貫した改善を施した最先端の精度を提供する。
  論文  参考訳（メタデータ） (2020-03-22T16:54:31Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。