論文の概要: Exploring the Potential of Bilevel Optimization for Calibrating Neural Networks

• arxiv url: http://arxiv.org/abs/2503.13113v1
• Date: Mon, 17 Mar 2025 12:34:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:59:20.833772
• Title: Exploring the Potential of Bilevel Optimization for Calibrating Neural Networks
• Title（参考訳）: ニューラルネットワークの校正のための二レベル最適化の可能性を探る
• Authors: Gabriele Sanguin, Arjun Pakrashi, Marco Viola, Francesco Rinaldi,
• Abstract要約: 現代のニューラルネットワークはキャリブレーションが不十分なため、予測された信頼性スコアは使用が難しい。 本稿では,二段階最適化の適用による信頼度推定と校正の改善について検討する。 モデルの予測信頼性スコアを改善するために、自己校正型バイレベルニューラルネットワークトレーニングアプローチが導入された。
• 参考スコア（独自算出の注目度）: 0.7499722271664147
• License:
• Abstract: Handling uncertainty is critical for ensuring reliable decision-making in intelligent systems. Modern neural networks are known to be poorly calibrated, resulting in predicted confidence scores that are difficult to use. This article explores improving confidence estimation and calibration through the application of bilevel optimization, a framework designed to solve hierarchical problems with interdependent optimization levels. A self-calibrating bilevel neural-network training approach is introduced to improve a model's predicted confidence scores. The effectiveness of the proposed framework is analyzed using toy datasets, such as Blobs and Spirals, as well as more practical simulated datasets, such as Blood Alcohol Concentration (BAC). It is compared with a well-known and widely used calibration strategy, isotonic regression. The reported experimental results reveal that the proposed bilevel optimization approach reduces the calibration error while preserving accuracy.
• Abstract（参考訳）: 不確実性を扱うことは、インテリジェントシステムにおける信頼性の高い意思決定を保証するために重要である。 現代のニューラルネットワークはキャリブレーションが不十分であることが知られており、予測された信頼性スコアは使用が難しい。 本稿では,相互依存最適化による階層的問題を解くためのフレームワークであるバイレベル最適化の適用を通じて,信頼度推定と校正の改善について検討する。 モデルの予測信頼性スコアを改善するために、自己校正型バイレベルニューラルネットワークトレーニングアプローチが導入された。 提案フレームワークの有効性は,Blobs や Spirals などのおもちゃのデータセットと,血液アルコール濃度 (BAC) などのより実用的なシミュレーションデータセットを用いて分析した。 これはよく知られ、広く使われている校正戦略であるイソトニック回帰と比較される。 報告された実験結果から,提案手法は精度を保ちながら校正誤差を低減する。

関連論文リスト

• Feature Clipping for Uncertainty Calibration [24.465567005078135]
  現代のディープニューラルネットワーク(DNN)は、しばしば過剰な自信に悩まされ、誤校正につながる。 この問題に対処するために,特徴クリッピング(FC)と呼ばれるポストホックキャリブレーション手法を提案する。 FCは特定の閾値に特徴値をクリップし、高い校正誤差サンプルのエントロピーを効果的に増加させる。
  論文  参考訳（メタデータ） (2024-10-16T06:44:35Z)
• Achieving Well-Informed Decision-Making in Drug Discovery: A Comprehensive Calibration Study using Neural Network-Based Structure-Activity Models [4.619907534483781]
  薬物と標的の相互作用を予測する計算モデルは、新しい治療薬の開発を加速するための貴重なツールである。 しかし、そのようなモデルはキャリブレーションが不十分であり、信頼性の低い不確実性推定をもたらす。 本研究では,ポストホックキャリブレーション法と不確実な定量化手法を組み合わせることで,モデルの精度とキャリブレーションを向上できることを示す。
  論文  参考訳（メタデータ） (2024-07-19T10:29:00Z)
• Calibrating Bayesian Learning via Regularization, Confidence Minimization, and Selective Inference [37.82259435084825]
  適切に校正されたAIモデルは、その精度を分布内入力(ID)に正しく報告し、また、分布外入力(OOD)の検出を可能にする必要がある。 本稿では、キャリブレーション正則化を統合した変分推論(VI)に基づくベイズ学習の拡張を提案する。
  論文  参考訳（メタデータ） (2024-04-17T13:08:26Z)
• Towards Calibrated Deep Clustering Network [60.71776081164377]
  ディープクラスタリングでは、特定のクラスタに属するサンプルに対する推定信頼度はその実際の予測精度を大きく上回る。 推定された信頼度と実際の精度を効果的にキャリブレーションできる新しいデュアルヘッド(キャリブレーションヘッドとクラスタリングヘッド)深層クラスタリングモデルを提案する。 大規模実験により, 提案手法は, 最先端の深層クラスタリング手法を10倍に越えるだけでなく, クラスタリング精度も大幅に向上した。
  論文  参考訳（メタデータ） (2024-03-04T11:23:40Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Meta-Calibration: Learning of Model Calibration Using Differentiable Expected Calibration Error [46.12703434199988]
  我々は、キャリブレーション品質を直接最適化できる、期待キャリブレーション誤差(DECE)のための新しい微分可能なサロゲートを導入する。 また、DECEを用いて検証セットの校正を最適化するメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-17T15:47:50Z)
• Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
  本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。 また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
  論文  参考訳（メタデータ） (2020-08-21T18:43:37Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。